ニュース
Qwen3.8 27Bを9分の1に圧縮も性能98.2%維持の「Bonsai 2 27B」
2026年9月18日 12:04
27B(270億)パラメータ級の性能を、わずか5.9GBのメモリに収めた驚異のモデルが登場した。PrismMLは9月17日(米国時間)、Qwen3.8 27Bをベースに3値量子化を施したマルチモーダルLLM「Ternary Bonsai 2 27B」を発表し、そのオープンウェイト(モデルの重み)をHugging Faceで公開した。ライセンスはApache License 2.0。
Ternary Bonsai 2 27Bは、Qwen3.8 27Bをベースに3値量子化で圧縮したDense型のマルチモーダルモデル。重みを{-1, 0, +1}の3値で表現し、FP16のグループ単位スケーリングを組み合わせることで、実効ビット数を1ウェイトあたり1.76bitに抑えた。
この低ビット表現は言語モデル全体に適用されている。総パラメータは27Bで、コンテキストウィンドウは262K(約26万)トークン、入力はテキストと画像に対応する。
フル精度のQwen3.8 27Bと比較して9分の1程度のフットプリントながら、推論/数学/コーディング/指示追従/画像認識/ツール呼び出しを含むベンチマークスイートの総合スコアで83.9を達成し、フル精度モデルのスコア85.4の98.2%を維持したという。同社が7月に公開した前世代のTernary Bonsai 27Bでは性能維持率が95%だったが、今回は98%超となり、同社は実質的に「ロスレス」とうたっている。
ホワイトペーパーによると、推論速度はGeForce RTX 5090で最大143tok/s、Apple M5 Maxで約47tok/sを達成。同ペーパーによれば、GeForce RTX 5090ではトークンあたりの消費電力量が0.582mWh、GeForce RTX 4090では0.714mWhとなっており、同社は高い電力効率もうたっている。
同社は、高い知能密度を生かして実際の知識労働を担えるとしている。用途としては、コーディングエージェントのループ処理、コンピュータ操作(Computer Use)のワークフロー、プライベート文書の分析、マルチモーダルのデバッグなどを挙げる。
また、ローカルで機密性の高いタスクや頻度の高いタスクを処理し、必要に応じてクラウドに引き渡すハイブリッドオーケストレーションにも対応できる。
