スマホで27B級LLMが動く！PrismMLが「Bonsai 27B」を無料公開

　PrismMLは7月14日(米国時間)、270億パラメータ(27B)の能力をノートPCやスマートフォンクラスといった端末にもたらすLLM「Bonsai 27B」シリーズを発表した。Apache 2.0ライセンスで公開され、Hugging Faceから無料でダウンロードできる。

　Bonsai 27Bシリーズは、「Qwen3.6 27B」をベースとしたマルチモーダルのモデル。-1/0/+1の3値を持つ1.71bit/重みの「Ternary Bonsai 27B」の容量は5.9GBで、ノートPCに好適。一方-1/+1の2値を持つ1.125bit/重みの「1-bit Bonsai 27B」の容量は3.9GBで、スマートフォンに好適だと位置付けている。

　特に1-bit Bonsai 27Bは、27Bクラスの能力を持つモデルとして初めてスマートフォン上で動作するものだとうたっている。これまでの27BモデルはFP16精度で約54GB占有し、優れた4bit精度であっても18GBであったため、ノートPCやスマートフォンで実行することは難しかった。

　なかでもiPhoneは、12GBのメモリが搭載されていても、実際には6GBの制約があり、その中でKVキャッシュやアクティベーションのぶんも賄う必要があった。1-bit Bonsai 27Bは約4GBで済むため、余白を残しつつ動作させることに成功したという。

　これまでのBonsaiシリーズと同様、低ビット表現は言語ネットワークや埋め込み、アテンション、MLPおよびLMヘッド全体に至るまでエンドツーエンドで実行され、高精度へのエスケープハッチはない。マルチモーダルに対応しており、スクリーンショット、ドキュメント、カメラ入力も認識できる。最大コンテキストウィンドウは262Kで、投機的デコードによって高速化されている。

　同社が知識、推論、数学、コーディング、指示追従、ツール呼び出し、ビジョンにわたる15のベンチマークスイートを実行した(思考モード)ところ、Ternary Bonsai 27Bはフル精度ベースラインの95%を維持し、1-bit Bonsai 27Bは90%を維持できたとしている。

　同社によれば、現在のAIワークロードは単一の応答から継続的な作業へとシフトしており、数百回もの呼び出しが行なわれるエージェント的な動作になっている。同社はBonsai 27Bを、こうした処理をローカルで行なうモデルとして最適だと位置付ける。GeForce RTX 5090上において、1-bit Bonsai 27Bは最大で163tok/s、Ternaryで最大134tok/s、Apple M5 Max上においてはそれぞれ87tok/s、58tok/sの速度を達成できたとしている。