ニュース

DGX Sparkと同じAI性能を激安で!?独自プロセッサで100BのLLMを走らせられるミニPC

Acrab Agent Box

 シンガポールに拠点を置く新興企業のAcrabは7月22日(現地時間)、ローカルで100B(1,000億パラメータ)のLLMを走らせられるというミニPC「Acrab Agent Box」を発表した。

 Acrab Agent Boxは、ローカルでLLMを実行することで高いレスポンス性と効率性を実現しつつ、トークンにかかるコストを抑えられる製品。パーソナルAIを連続かつ毎日駆動させるために設計した独自プロセッサ「G≡LIX 1」(ゲイリックス・ワンと発音)を搭載し、PrefillとDecode処理において、NVIDIAの「DGX Spark」に肉薄する性能を実現しつつ、コストを大幅に抑え(図を鵜呑みにすると5分の1程度)、消費電力も半分強に抑えられるという。

 G≡LIX 1は273GB/sと広帯域なユニファイドメモリを採用し、LLM処理に特化したプロセッサで、5nmプロセスで製造され、700TOPSの性能を発揮。100Bクラスのモデルをローカルで駆動させられ、OpenClawのようなAIエージェントに対応する。

Acrab Agent Box
DGX Sparkに匹敵する性能を低価格で実現
Acrab Agent Boxの基板

 特にNPUに関しては、汎用コンピュートユニットとのバランスを取るよう注意深くチューニングしており、VAE vector accelerationによりアテンション処理を最大3倍高速化するほか、L1キャッシュは8MBと大容量、L2キャッシュは768GB/sと広帯域になっている。CPUは20コアだという。このほかに、3TFLOPSの性能を持つGPU、ビデオDSPクラスター、複数のカメラ入力サブシステム、高解像度ディスプレイエンジンなどを備える。

 こうしたハードウェアプラットフォームに加え、AIサービス用のプラットフォームやモデルツールチェーン、AI実行ランタイム、OSといったソフトウェアスタックも提供。さらに、主要なシナリオやアプリケーションに対しては本格的なエージェントのリファレンスデザインも提供するとしている。

G≡LIX 1の設計思想
G≡LIX 1の特徴
ソフトウェアスタックも提供

 同社が公開した発表ビデオでは、音声で息子へのプレゼントを3Dプリンタで自動的にデザインして出力したり、音声で自動掃除機を動作させるデモなどが行なわれ、スマートライトやスマートエアコン、スマートロックといった家電との連携も示唆した。

 ちなみにAcrabは住所以外詳しい企業情報などを公開していないが、発表ビデオページのフッターでは「Contemporary Amperex Technology」(CATL: 寧徳時代新能源科技)というコピーライトの記述がある。同社は自動車向けバッテリメーカーの世界最大手。よって(記述が正しければ)AcrabはバッテリメーカーがAIに目をつけて出資して設立した新興企業の可能性はあるといえる。

音声で話しかけて3Dモデルを自動でデザイン、3Dプリンタで出力
発表ビデオページのフッターより