ニュース

10Wで20BパラメータのLLMを動かせる「Amaretti E1.S」

Amaretti E1.S

 米Unigenは4月13日(現地時間)、独自のAIアクセラレータチップ「EdgeCortix SAKURA-II」を搭載したE1.S接続のAIアクセラレータモジュール「Amaretti E1.S」を発表した。

【11時52分訂正】記事初出時、M.2スロットとしておりましたが、これは誤りです。お詫びして訂正します。

 Amaretti E1.Sは、消費電力10Wで60TOPSのAI処理性能を実現するというE1.S接続のAIアクセラレータ。最大32GBのメモリを搭載し、ワットあたり6TOPSの電力効率を実現することで、熱管理やシステムの電力制約を受けることなく、最大20BのLLMおよびVLMをローカルで実行できるという。

 搭載されているEdgeCortix SAKURA-IIは、低遅延なダイナミックニューラルアクセラレータ(DNA)を搭載したAIアクセラレータで、オンチップSRAMは20MBを内蔵。性能はINT8で60TOPS、BF16で30TFLOPS。デュアル64bit LPDDR4X(8/16/32GB)をサポートし、帯域幅は68GB/sとなっている。

EdgeCortix SAKURA-II

 TensorFlow、PyTorch、ONNX、Hugging Faceといった業界標準フレームワークとシームレスに統合できるほか、独自の「MERA SDK」を利用することで、AIタスクがリソースと競合せず、ミッションクリティカルなロボット、セキュアなAIエージェント、航空宇宙、防衛、インテリジェントな産業監視アプリなどを実現するとしている。