ニュース

Qwen超えで2倍速、拡散LLM「Clover-35B-A3B-Preview」公開

劉尭

2026年10月29日 12:13

　文章を先頭から1トークンずつ書き進めるのではなく、ブロック単位でまとめて生成する「拡散言語モデル」に、350億パラメータ級の新モデルが登場した。DiffuSpaceは10月28日(中国時間)、拡散言語モデル「Clover-35B-A3B-Preview」をオープンウェイト(モデルの重み)として公開した。ライセンスはApache 2.0で、商用利用を含め無償で利用可能。

　Transformers用の推論コードはHugging Faceで提供されている。推論エンジンはSGLangとllama.cppに対応するとしており、それぞれの対応コードと導入手順は今後DiffuSpaceのGitHubリポジトリで公開される予定。

　Clover-35B-A3B-Previewは、エージェント型のコーディングやツール利用を主な用途とする、テキスト入力専用の拡散言語モデル。総パラメータ数は35B(350億)、アクティブパラメータ数は3B(30億)のMoE型で、コンテキストウィンドウはプロンプトと生成結果の合計で最大13万1,072トークン(128K)。思考モードにも対応する。

　DiffuSpaceがブログで公開したエージェント系の6項目のベンチマークのうち、実際の不具合をコードの修正で解決させる「SWE-bench Verified」では73.6を記録した。また、ターミナルでのコマンド操作でタスクを完了させる「Terminal-Bench 2.1」は51.7、顧客対応の場面でツールを使いながらユーザーと対話させる「τ³ Overall」は65.3だった。

　これは、同じ拡散言語モデルの「LLaDA2.2 flash」、「Mercury 2.5」だけでなく、自己回帰型の「Qwen3.6-35B-A3B」、「Qwen3.5-35B-A3B」を上回るスコアだという。

　汎用ベンチマークでは、大学院レベルの科学知識を問う「GPQA Diamond」が83.8、論理パズルで推論力を測る「ZebraLogic」が95.8、長い文書を読み込んで推論させる「AA-LCR」が72.0だった。いずれも同規模の自己回帰型モデルと同等以上の結果だという。

　軽量モデルとの比較では、「MiniCPM-V 4.7」(35B-A3B)、「LFM2.5」(24B-A2B)、「Nemotron 3.5 Lightning」(30B-A3B)、「Gemma 4」(26B-A4B)を相手に、9項目中6項目で最高スコアを獲得。同じ35B-A3B構成のMiniCPM-V 4.7と比べると、Terminal-Bench 2.1で15.7ポイント、SWE-bench Verifiedで28.0ポイント高い。

　生成速度は、NVIDIA GB300単体(BF16、バッチサイズ1)で、社内のエージェント用データにおいて680tok/sに達した。NVIDIA H200単体では、エージェントタスクで515tok/sとなり、同規模のQwenモデルを「DFlash2」で高速化した構成の365tok/sを上回った。

　ローカル環境での動作も検証されており、ビデオメモリ16GBのGeForce RTX 5070 TiでINT4に量子化して動作させた場合、MATH-500での生成速度は101.8tok/s。同規模のMiniCPMやQwenのモデルは48.5tok/sで、Cloverはその2倍ほど高速だ。