ニュース
iPhoneで最大120tok/s！3値化LLM「Ternary Bonsai 2」に2B/4B/9B登場
2026年10月16日 09:43
フル精度の9分の1以下のサイズで、元モデルに近い性能を保つ小型LLMが登場した。PrismMLは10月15日(現地時間)、重みを3値化した言語モデル「Ternary Bonsai 2」シリーズに、パラメータ数2B(20億)、4B(40億)、9B(90億)の3モデルを追加した。Apache 2.0ライセンスのもと、オープンウェイト(モデルの重み)をHugging Faceで公開している。
Ternary Bonsai 2は、「Qwen3.5」の2B/4B/9Bモデルをベースに、重みを-1、0、+1の3つの値だけで表現することで容量を大幅に圧縮したモデル。モデルサイズは2Bが0.43GB、4Bが0.95GB、9Bが2GBで、いずれもフル精度の元モデルと比べて9分の1以下に収まる。推論、画像理解、ツール呼び出しに対応し、PCやスマートフォン、ウェアラブル機器上でローカル動作するAIエージェントの構築を想定している。9月に発表済みの「Bonsai 2 27B」と合わせ、4サイズ展開となった。
開発に当たっては、同じ出力の繰り返しに陥らないこと、指示に従うこと、モバイル機器上でツールを呼び出せること、出力の冗長さを抑えることを重視したという。9Bモデルでは、標準的な指示追従タスクや日常的な数学タスクで消費するトークン数を約40%削減した。
性能面では、エージェント/ツール呼び出し、数学、指示追従、コーディング、知識/推論、画像理解の6分野にわたる19種類のベンチマークで、元となったQwen3.5との比較結果を公開している。元モデル比のスコアは、いずれのモデルもエージェント/ツール呼び出しで90%以上、数学で98.2%以上、指示追従で100%以上、コーディングで100.1%以上となった。一方で知識/推論は82.9～93.0%、画像理解は89～92.5%となり、中でも2Bの「GPQADiamond」のスコアは39.6で、元モデルの58.48に対して67.7%に留まった。
また、小容量化したことで推論速度やエネルギー効率は高まる。GeForce RTX 4090やM5 Proなどの環境で、フル精度の元モデルと比べて最大5倍のスループットと3倍の電力効率を達成したとしている。M5 Pro-Max環境(グラフ表記通り)では9Bが最大179tok/s、2Bが最大310tok/sのスループットを達成した。モバイル機器にも適しており、「iPhone 18 Pro Max」でも、9Bが最大34tok/s、2Bが最大120tok/sの出力を実現できるとしている。
