32GBでQwen3.8-Flash-Nextが動く！Strata 0.2.0ベータ

　賢いローカルLLM「Qwen3.8-Flash-Next」を動かすハードルが、また一段と下がった。Qwen3.8-Flash-Nextの動作に特化したソフトウェア「Strata 0.2.0-beta」が10月19日に無償で公開され、メインメモリとVRAMの合計が32GBあれば動作するようになった。

　Strataは、PCのメインメモリやVRAM、SSDを駆使し、ゲーミングPCでQwen3.8-Flash-Nextを比較的実用的な速度で動作させることを目的としたソフトウェア。インストール時にPCのスペックに見合ったモデル(精度とトレードオフ)を推奨してダウンロードするため、手軽に利用できるのが特徴だ。

　そのStrataは、これまではメインメモリ32GB(VRAM 12GB以上のビデオカードが前提)で動くとしていたものの、それはエキスパートを半分に削ったコーディング特化モデル(Coder)だった。しかし今回、agentionai氏による低ビット量子化モデル「Qwen3.8-Flash-Next-Gyro-GGUF」(Gyro)を選択可能とし、コーディング用途に限定せず利用できるようになった。

　Gyroは、ルーティングされるエキスパートを、独自のローターコード(Agention Precision Rotor、APR)で回転させた基底で保存しているのが特徴で、これによりメモリを削減する。今回、メモリ32GB環境で選択されるのはGyro-Sこと「Qwen3.8-Flash-Next-Gyro-S-TQ1_0.gguf」で、重みはわずか27.64GiB。これはGeForce RTX 5090やRadeon AI PRO R9700 1枚のVRAM、32GBに収まるサイズだ。

　さすがに精度はQ4などと比較して劣る。それでも、メモリ32GBとVRAM 8GB程度のビデオカードを搭載したゲーミングPCを所持しているユーザーは(メモリ64GB+VRAM 12GB以上と比較して)相当に多いはず。これを機に1回ローカルLLMの世界に飛び込んでみてはいかがだろうか。