見た目はUSB SSD、中身はAIプロセッサ。ASUS「UGen300」を試した

UGen300(S-UGEN300-8GLD4-TC)

　ASUSの「UGen300」シリーズは、USBまたはM.2に接続し、40TOPSの処理性能を実現するエッジAIアクセラレータだ。現在発売中で、価格はオープンプライス、実売価格はUSB/メモリ8GBモデルが4万9,800円、M.2/メモリ8GBモデルが4万5,980円、M.2/メモリ2GBモデルが2万9,980円となっている。

　Copilot+ PCの登場以降、個人向けPCでもNPUが普及してきた。最新のモバイルCPUは、40～80TOPS級のNPUを当たり前のように内蔵している。2026年発売の最新CPU搭載PCを買う、もしくは既に所持しているのであれば、はっきり言ってわざわざこのAIアクセラレータを購入して後付けする理由は薄い。

　それでもASUSはこのタイミングでUGen300シリーズを投入してきた。しかも、USBタイプも用意しているというのがまたユニーク。AIアクセラレータといえばM.2かPCIeスロットに挿すものが多いからだ。その心臓部は、生成AI対応をうたう「Hailo-10H」で、USBメモリ感覚で挿すだけで40TOPSが手に入るという。

　NPU内蔵が当たり前のこの時代において、本製品の存在意義とはなんだろうか？今回ASUSよりサンプルをお借りしたので、レビューしつつ紐解いていきたい。

USB SSDじゃないよ、AIプロセッサだよ

　まずはUSB接続のモデル「S-UGEN300-8GLD4-TC」を見ていこう。一見、M.2 SSDをそのまま内包したUSB SSDのように見えるが、中身はHailo-10HというAI専用プロセッサと、8GBのLPDDR4メモリをワンパッケージにしたM.2モジュールだ。

　M.2版の「UGEN300-8GLD4-M2」は、いわばその中身。確認すると、Hailo-10Hチップと、MicronのLPDDR4-4266メモリが搭載されているのが分かる。つまるところ一番大きな違いは「ガワ」だ。

S-UGEN300-8GLD4-TCの本体

付属品など

こちらはM.2版のUGEN300-8GLD4-M2

　いずれの製品も消費電力は標準でわずか2.5W、そのためか冷却はファンレスだ。USB版は筐体そのものがヒートシンクとして機能し、重量は150gと、見た目以上にズッシリとした金属の塊感があり、安っぽさはない。M.2版に至っては6gしかなく、基板を眺めながら「これで40TOPSか……」と、ちょっとぐぬぬとなる。

　対応フレームワークはKeras、TensorFlow / TensorFlow Lite、PyTorch、ONNX。ホストのアーキテクチャはx86とArmの両対応で、Windows、Linux、Androidで動作する。つまり、デスクトップPCでもミニPCでもRaspberry Piでも、挿さりさえすれば同じAIが動く。

セットアップは拍子抜けするほど簡単

　セットアップは、Windowsだと拍子抜けするほど簡単だ。特にUSB版なら、PCのType-Cポートに挿し、「UGen Utility」を導入して(ドライバ入り。ドライバだけ必要な場合はそちらをダウンロード。また、Pythonなどは自動でダウンロードされる)から、最新のファームウェアを入れるだけで、数種類の事前学習済みモデルをその場で試せる。LLM(大規模言語モデル)、VLM(画像言語モデル)、音声モデル、物体検出モデルがジャンル別に並んでおり、選んで実行するだけで推論が始まる。PCを分解する必要すらない。

　筆者の環境では、AIエージェント「Hermes Agent」とPython環境の干渉などがあったためインストーラーが進まず手直しが必要だったが、本製品のためにこれから新規にセットアップする環境では特に問題ないだろう。

筆者のHermes Agentが入っている環境では、UGen Utilityインストール時にPythonの環境構築に失敗してしまったが(除外することで回避可能)、クリーンな環境では問題は起きないだろう

こちらはドライバ単体のインストーラー。ドライバを先に入れてからUGen Utilityを入れようとすると「既に入ってる」で止まってしまうので、アンインストールする必要がある

ドライバのインストール画面で、USBなのかPCIeなのか、ユーザーが選ぶ必要があるのはやや不親切。UGen Utilityと同様自動対応してほしかった

ファームウェアアップデートのユーティリティも用意されている

稀にモデルのアンロードとロードで不安定になったりするが、大抵再接続で直る

　ちなみに、本製品がユニークなのは、PCに接続してまず見えるのが「ローダー部分だけ」という点。ローダーといってもピンとこないと思うので説明しておくと、本製品は以下のような手順で「起動して」動作しているのだ。

1. USBに接続するとローダー部分が見える
2. PCからYocto Linuxイメージ一式を転送し、UGen300が起動
3. ホストから使用する際はYocto Linuxがハンドシェイクを行ない、Hailo-10Hを駆動

　そのYocto Linuxのイメージはホストに置かれているので、Claude Codeにいろいろ解析させてみた。その結果、Hailo-10Hは、カメラ用AIプロセッサ「Hailo-15H」をベースとして作られたもので、4コアのCortex-A53やSDIO 3.0/eMMC 5.1/Gigabit Ethernetインターフェイスなどが内蔵されており、単体でも動作するほど高機能なものであることが分かった。

　さて、セットアップこそ簡単だったのだが、ここで釘を刺しておきたいのは、たとえUGen Utilityなど手軽にAIが動作する環境であっても、ASUSが用意しているのは「サンプルまで」という点。UGen300上で「Llama3.2-1B-Instruct」、「Qwen2.5-1.5B-Instruct」といった軽量LLMが動くというのは分かる。「Whisper tiny」といった音声認識モデルや、「YOLO」といったオブジェクト認識が動くのは確認できる。しかしそれはあくまでもデモであって、そこから先の活用法は用意されていないのだ。

用意されているLLMのモデル

とはいえ、モデルが古すぎるので、あまり実用的ではない

音声認識のWhisperも用意されている

これも認識精度はいまいちだ

元々カメラ用AIプロセッサなので、YOLO系は充実している

オブジェクト認識のyolo11m

姿勢検知のyolo8m_pose

　たとえば、Whisperで音声認識した結果をLLMに投げて回答させたり、YOLOで画像認識した結果をLLMに投げて解析させたり、人の動線分析や姿勢検知の結果から何かアクションを起こさせたりする……というのはできない。そこはユーザーが自らの用途にあわせて、自身でソフトウェアを作り込む必要がある。

Claude Codeでサクッとyolo8s_poseを使って「転倒検知」アプリを作ってみたところ(一定の加速度で姿勢が横になったときのみ検出)。もっとも、これだけではまったく意味はなく、実際はメールやスマートフォン通知まで作り込まなければならないだろう

　また、「どんなモデルでもすぐに動くわけではない」という点もハードルが高い。本機で動作するのは、Hailo用にコンパイルされたHEF形式のモデルに限られる。世の中で広まっているGGUFやONNXモデルをダウンロードしてきてそのまま放り込む、というわけにはいかないのだ。

　一応、開発者登録をすれば、HEFへのコンパイル手段は用意されている。実際に筆者もやってみた。ところがこのコンパイルは、Hailo-10Hの演算ユニットに合わせて、モデルの実行に最適な配線を引き直す過程であり、その最適化に膨大な時間を要する。

　試しにCore Ultra 5 226VとUbuntu 26.04の環境で、2020年に登場した10種類の物体(動物や乗り物)の32×32画像を生成するDiffusionモデル「DDPM cifar10 32×32(v6)」を変換してみた。量子化作業を含めて合計56分もかかった。セレブの顔を生成する「DDPM celebahq 256×256」は同様に3時間14分。テキスト拡散モデル「BD3LM」は2時間39分だった。完成したHEFはわずか40～115MB程度なのに……である。

画像拡散モデルの最初期ともいえるDDPM celebahq 256×256を載せてみたが、コンパイルに3時間14分もかかってしまった

　しかも、変換したところで実際に速いかどうかは、やってみないと分からない。上記の例でいえばCore Ultra 5 226VのCPUより高速に実行できたのは、BD3LMのみだった。

肝心の性能だが、LLMは無理

　続いて性能を見ていこう。だが結論から言ってしまうと、本機を「いわゆる最近のAI=LLMを高速化する装置」だと思って買うと肩透かしを食らう。「メモリが8GBあるならパラメータ数7B(70億)のLLMもいけるのでは？」という期待は、しないほうがいい。

　先述の通り、公式で用意されているLLMは「Qwen2.5-1.5B-Instruct」や「DeepSeek-R1-Distill-Qwen-1.5B」といった小型モデルが中心で、日本語の応答は中途半端。日本語で現実的なQwen3.8はもちろん動かないし、Qwen3.5の4B(40億)クラスであったとしても現時点では無理に近い。

　そして、たとえ変換できたとしても、「メモリの帯域幅」という最大の壁が立ちはだかる。本製品は確かに8GBのメモリを搭載しているが、速度はLPDDR4-4266でチップ一発なので、帯域は17GB/sしかない。UGen Utilityに用意されたQwen2.5-1.5Bで実際に測ってみたところ、6.8tok/sだったので、仮に4B(40億)のモデルが載ったとしても推定2.6tok/sで非実用的だ。

　LLMの生成速度は、TOPSの数字ではなくメモリ帯域に支配されるので、40TOPSという数字がそのまま生成速度に直結しない。ちなみに、Core Ultra 5 226Vで同じQwen2.5-1.5Bを走らせたところ、NPUで67tok/s、CPUで71tok/s、iGPUで88.5tok/sだった。

Qwen2.5-1.5Bの速度

　LLMで辛うじて本機の価値を見いだすとすれば、「速さ」ではなく「オフロード」だろうか。推論を本機に逃がせば、ホストのCPUは空き、メインメモリも食われず、ファンレスでAIだけが黙々と動き続ける。もっとも、それは古い1.5Bに価値を見いだせれば……の話ではあるのだが。

同じAI処理といっても、UGen300でLLMはメモリ帯域律速になってしまう

ビジョンAIでこそ活きる

　本命は、むしろビジョンAIのほうだ。物体検出や姿勢推定といった“従来型AI”の推論はHailoの本業であり、YOLO11nは実測で176fpsを記録して、Core Ultra 5 226VのCPU(45fps)の3.9倍も高速だ。Core Ultra 5 226V内蔵GPUの383fpsからは置いていかれるが、NPUの228fpsに迫る数値となっている。

YOLO11nの速度

　そして重要なことが1つある。Hailo-10Hがうたう40TOPSはINT4(4bit整数)で、Core Ultra 5 226Vのうたう40TOPSはINT8(8bit整数)なのだ。同じINT8性能で揃えると、Hailo-10Hは20TOPSという数字。こうしてみると、Hailo-10HはCore Ultra内蔵のNPUより効率よく動いていることが分かる。

　もっとも、これも「絶対的な性能では結局Intelに敵わない」、「YOLOだからといって20TOPSの演算性能をフルに使えているわけではない」点に注意したい。

買ってすぐローカルChatGPT、ではない。それでも刺さる人に

　最後に改めて書いておこう。本機を買っても、賢いローカルAIが手元で動くわけではない。動くのは1B(10億)～3B(30億)級の小さなモデル、しかも古くて、知識量も推論力もQwen3.5以降のモデルとは別次元だ。LLMが目当てなら、消費電力は素直に諦めて、せめてRadeon RX 7600を買おう。

　それでも、刺さる人には刺さる製品だ。4万9,800円は決して安くはない。しかし、カメラ映像を24時間、電気代を気にせず解析し続けたいといった組み込み用途や、型落ちのRaspberry Piやちょっと古いPCをビジョンAIの実験台にする用途で活きるはずだ。