ニュース

NVIDIA、Qwen3.8-27Bの推論を高速化する外部ドラフトモデル公開

 Qwen3.8-27Bの推論を高速化するドラフトモデル「Qwen3.5-4B-Qwen3.8-27B-Draft」が11月17日にHugging Faceで公開された。NVIDIAが作成したもので、NVIDIA Open Model Agreementが適用され、商用・非商用を問わず無償で利用できる。

 Qwen3.5-4B-Qwen3.8-27B-Draftは、ターゲットモデルであるQwen3.8-27Bにおいて、推論を高速化する投機的デコーディングを利用するための外部ドラフトモデル。Qwen3.5-4Bをベースに開発され、パラメータ数は4.21B(42億1,000万)。学習にはNVIDIA Model Optimizerの外部投機的デコーディングモードが活用されたという。

 NVIDIAでは、ベンチマークテスト「SPEED-Bench」にてターゲットの1ステップで受理されるトークン数を評価。本ドラフトモデルとQwen3.8-27B内蔵のMTP(Multi-Token Prediction)ヘッドで比較した。その結果、定性的サブセットの場合、全体平均が3.81から5.58へと向上。ロングコンテキストのthroughput-32kサブセットの場合、全体平均が3.86から5.11へと引き上がったとしている。