Qwen3.8 27Bが驚異の6.2GBに!? Unslothが新量子化技術で実現

Dynamic v3.0量子化版Qwen3.8-27Bの上位1%の精度

　AIモデルを小型化するために使われる量子化技術の開発も着々と進んでいる。Unslothは8月19日(米国時間)、新しい量子化技術「Dynamic v3.0」を発表し、これを適用したモデル「Qwen3.8-27B」のDynamic v3.0量子化版の提供を開始した。今回のリリースは、先行公開していた早期プレビュー版を更新したものとなる。Dynamic v3.0に対応したGGUFはllama.cppやUnsloth Desktopを含むほとんどの推論エンジンで利用可能となっている。

　Dynamic v3.0を採用する利点は精度の向上だ。Qwen3.8-27Bは8月15日に提供開始されたAIモデルで、Unslothが量子化したバージョンはわずか5日間で510万ダウンロードを記録した。今回採用されたDynamic v3.0は前世代のv2.0から量子化手法を大幅に改良することで、v3.0を採用したQwen3.8-27Bは、ほかのプロバイダーと比較して上位1%の精度が10%以上向上したという。

　これを実現した要素の1つが、学習後量子化(Post-Training Quantization)に用いるキャリブレーションデータセット「imatrix」の品質向上だ。このデータセットは、エージェントコーディング、チャット、多言語対応のパフォーマンスに最適化されている。また、レイヤー選択の改善やさまざまな量子化手法を取り入れることで、モデルサイズを抑えながら精度低下を最小限に留めた。

　今回提供されるモデルのうち注目の1つは2bit量子化された「UD-Q2_K_XL」。容量は約9.83GB。従来崩れがちだったHTMLプログラムの生成において、小さなJSバグ1つがあるだけで動作するHTMLプログラムを作成できたという。なお、8.37GB以下の小型モデルからはMTPモジュールを省くことで、500MBほどのディスク容量を削減した。

　さらに小型のUD-1bit量子化モデルも作成しており、MTPなしの「UD-IQ1_S」の容量はわずか6.2GBだ。上位1%の精度を約72%維持しながら、オリジナルからサイズを89%も削減している。

　もっとも、1bitはエージェント用途には向かないとも警告している。32トークンの予測において、UD-Q2_K_XLからUD-IQ2_Sに変わっただけで精度が約25%から8～10%未満へと急激に低下することが分かった。UD-Q2_K_XL未満の量子化モデルはループが多く発生するため、presence_penalty=1.5以上の設定が必要。加えて、1bit量子化モデルは思考レベルを少なくとも「低」にしないと空の出力になる可能性がある。ツール呼び出しも失敗するとしている。一方、一般知識は保持されるため、ごく短い事実確認の質問であれば利用できるという。