Qwen3.8-27Bを8GBに凝縮！メモリ16GBのノートで動く「Saluki 27B」

　Opus 4.6 Maxに匹敵するとされる「Qwen3.8-27B」を、8GB未満に収めた量子化モデルが登場した。Underdogは10月8日(米国時間)、Alibabaの「Qwen3.8-27B」をベースに約2bitまで量子化したLLM「Underdog Saluki 27B 1.0」をオープンウェイト(モデルの重み)として公開した。Apache 2.0ライセンスを採用し、Hugging Faceからダウンロードできる。

　Underdog Saluki 27Bは、ツール呼び出しの精度を落とさないことに主眼を置いた量子化モデル。パラメータ数は27B(270億)で、ファイルサイズはフル精度版の54GBに対して7.89GBと約7分の1に縮小した。メモリ16GBのノートPCでも動作するとうたっている。オーストリア科学技術研究所(ISTA)のDASLabが公開した量子化モデル「Qwen3.8-27B-GSQ-RCO-GGUF」をベースに、Underdogが独自に手を加えている。

　もう1つの特徴は、標準のllama.cppやそれをベースにしたアプリでそのまま動作するGGUFになっていること。同じくQwen3.8-27Bを三値で2bit量子化した「Ternary Bonsai 2 27B」の場合、独自フォーク版のllama.cppを使う必要があるが、Saluki 27Bはその必要がない。思考はデフォルトで有効で、リクエストごとにオン/オフを切り替えられる。高速にツールを呼び出したい用途では、思考モードの無効化を推奨している。

　同社の検証によれば、BFCL v4(Berkeley Function Calling Leaderboard)から抽出した120タスクで構成する独自ベンチマーク「Underdog Bench」では、Salukiは88タスクをクリアした。フル精度版の84タスクや、Ternary Bonsai 2 27Bの70タスクを上回ったとしている。指示追従能力を計測する「IFEval」や「IFBench」もフル精度版より優秀だった。

　一方で、バグ修正を評価する「SWE-bench Verified」、Pythonのコーディング能力を測る「MBPP+」、多段階推論の「MuSR」、数学推論のベンチマークでは、フル精度版を下回った。さらに、文字レベルの指示パズルが苦手な点も制約事項として挙げられている。思考モード有効時に回答までの思考が長くなりがちな点や、並列ツール呼び出しの回答のうち約5分の1で軽微なフォーマットの崩れが見られる点も同様だ。