「Qwen3.8-Flash-Next」オープンウェイト公開、125B-A6BでOpus 4.6匹敵でQwen3.8-27B超え

　次期「Qwen4」の設計を先取りしたモデルが、もう手元で動かせる。Alibabaのモデル開発チームQwenが8月26日(日本時間)、「Qwen3.8-Flash-Next」をオープンウェイトとして公開し、既にHugging FaceやModelScopeからダウンロードできる。規模は125B-A6Bで、本体とは別に51B(510億パラメータ)分のN-gram埋め込みを備える。ライセンスは「Qwen Community License 1.0」で、商用利用を含め原則無償だが、事業内容によっては商用利用に別途契約が必要となる。

　Qwen3.8-Flash-Nextは、テキストに加えて画像や動画も扱えるMoE(Mixture-of-Experts)型のAIモデルである。MoEは、モデル内部を役割の異なる多数の小さなネットワークに分け、入力ごとに必要なものだけを動かして計算量を抑える仕組みだ。総パラメータ数は1,250億で、1トークンあたり動くアクティブパラメータ数は60億にすぎない。コンテキスト長は標準26万2,144トークン、拡張時100万トークンだ。

　性能は規模からは想像しにくい高水準にある。Anthropicの「Claude Opus 4.6(Max)」と比べ、ソフトウェア開発の「SWE-bench Pro」で62.5%(Opus 4.6は53.4%)、事務作業を長時間こなす「CoWorkBench」で73.9%(同68.2%)、職務タスクの「JobBench」で55.7%(同36.6%)と、いずれも上回った。自社の総パラメータ数3,970億「Qwen3.7-Plus」に対しても多くの項目で上回り、学習コストは約9分の1で済んだという。

　ローカルAIの定番となっている「Qwen3.8-27B」との比較でも、Qwenが公開したベンチマーク結果では、言語・視覚あわせて22項目で同等以上、うち21項目で上回った。27Bは270億パラメータすべてが動くDense(高密度)型モデルであるのに対し、Qwen3.8-Flash-Nextは60億しか動かさない。「SWE-bench Pro」では62.5%対61.7%とわずかな差だが、「JobBench」では55.7%対33.4%と大きく開いている。

　これだけ少ないアクティブパラメータで高い性能を出せる理由は、Qwen4に向けた4つの新設計にある。アテンション(文脈のどこに注目するかを決める仕組み)は、4層ごとに、文脈を圧縮して覚える「Gated DeltaNet(GDN)」3層と、重要なブロックだけを選んで読み返す「Qwen Sparse Attention(QSA)」1層を組み合わせる。100万トークン入力時のプリフィル処理量はQwen3.7-Plusの8.6倍に達する。

　残る3つは、各層の入力を深い層まで素通しで届ける経路を1本から4本に増やした「Gated Residual(GR)」、直前の数トークンの並びから対応するベクトルを引く510億パラメータ分の参照表「N-gram埋め込み」(VRAMではなくRAMに置いて先読みする)、そして、学習時のパラメータ更新を効率化する新手法「Muon」である。

　ローカルAIの読者にとって気になるのは、N-gram埋め込みの51B分がVRAMではなくRAMに置ける点だろう。通常、VRAMに収まらないパラメータはRAMからGPUへ都度転送するため、極端に遅くなる。8GBのGPUで35Bモデルを動かした実行環境「FreeToken」が注目されたのはこの壁を越えたからだが、NVIDIA GPUが前提の実行環境である。

　Qwen3.8-Flash-Nextは、RAMに置いて先読みする前提でモデル側から設計されており、特定のGPU環境には依存しない。Qwenがサーバー向けの対応環境として挙げるのは、推論フレームワークの「SGLang」「vLLM」「TokenSpeed」だ。ローカル向けでは「llama.cpp」の対応も案内されているが、この先読みまで実装されているかは、まだ分かっていない。

　なお、ライセンスで別途契約が必要なのは、MaaS事業や、AIコーディング/オフィス支援を主目的とする製品の事業者だ。また、月間アクティブユーザー1億人超か月間売上2,000万ドル(約32億円、1ドル=約159円換算)超の製品は、UI上にモデル名の表示が必要になる。

Qwen3.8-Flash-Nextが採用した4つの新機構

• アテンション(GDN+QSA): 4層ごとに、文脈を圧縮して覚えるGated DeltaNet 3層と、重要なブロックだけを選んで読み返すQwen Sparse Attention 1層を組み合わせる。キャッシュ命中率90%・100万トークン入力でプリフィル処理量はQwen3.7-Plusの8.6倍
• Gated Residual(GR): 各層の入力を深い層まで素通しで届ける経路を1本から4本に増やし、各経路の読み書き量をゲートで動的に制御。初期の情報が深い層まで薄まりにくく、学習も安定
• N-gram埋め込み: 直前の数トークンの並びから対応するベクトルを引く参照表を、本体とは別に510億パラメータ分追加。トークンあたりの計算はほぼ増えず、表はVRAMではなくRAMに置いて先読み可能
• 学習手法(Muon): 学習時のパラメータ更新を効率化する新手法。少ない手順で学習が進み、Qwen3.7-Plus比で学習コストは約9分の1