ニュース

8GBのGPUで35Bモデルが高速動作！MoE特化の実行環境「FreeToken」

  • 劉 尭

2026年8月24日 14:04

　「このモデル、メインメモリなら乗るんだけど、ビデオカードのVRAMが少ないから遅くて使えないんだよねぇ」など、ちょっと贅沢な悩みを抱えているユーザーは少なくないだろう。その解決策の1つとなりそうなのが、無料のAIモデル実行環境「FreeToken」だ。現在公式サイトから無料でダウンロードできるようになっており、ライセンスはApache 2.0となっている。

　FreeTokenはMoE(Mixture-of-Experts)モデルの実行に特化した実行環境だ。MoEモデルは、すべてのパラメータのうち一部だけを有効化(アクティブ)して処理するため、総パラメータ数の見かけほどメモリを消費しない。FreeTokenではこれを活用し、有効化されたパラメータだけGPUのVRAMにロードし、メインメモリより高速なVRAM帯域幅を利用して処理することで高速化を行なう。

　AIモデルの実行環境としてメジャーなllama.cppも、モデルロード時にVRAMに載らなかった分をメインメモリに置く機能自体はある。しかし、これは層単位での静的な配置で、入らなかった分はOSのページングかCPU処理することになり、ボトルネックが発生していた。

　一方FreeTokenでは、推論のたびに必要な有効化されたエキスパートだけをGPUに呼び出し、直近使われない重みを置き換えるLRU(Least Recently Used)キャッシュの導入で効率化。また、コンテキスト長などに応じてKVキャッシュとエキスパートキャッシュ間のVRAM割り当てを動的に変更。さらに、プリフィル時にGPUへエキスパートの重みを転送すると同時に計算を行なうことで待ち時間を隠蔽するといった手法を採用した。

　FreeTokenの論文を執筆したカリフォルニア大学バークレー校のShuo Yang氏によれば、GeForce RTX 4060 Laptop(8GB)の環境でQwen3.6-35B-A3Bは39tok/s、GeForce RTX 5090(32GB)の環境でDeepSeek-V4-Flash 284Bは22～25tok/s、そしてRTX PRO 6000 Workstationの環境でGLM-5.2 753Bは15tok/sで実行できたという。

　また、FreeTokenはネイティブでGUIを提供しており、GGUF変換不要で利用できるほか、ソースからのビルドもせずにワンクリックで導入できるのも特徴だ。