ニュース

748BのDeepSeekがGPU 1枚でさらに速く！生成は最大約2倍

  • 劉 尭

2026年10月26日 12:32

　巨大なMoEモデルを手元のGPUで動かすハードルが、また1段下がった。GitHub上で開発されているLLM推論ソフトウェア「Project Maya」は10月26日、最新版「v1.1.28」を公開した。

　Project Mayaは、総パラメータ数321B(3,210億)のMoEモデル「GLM-5.3-Flash」や748B(7,480億)のMoEモデル「DeepSeek-V4.1-Flash-1017」を、ローカルPCで動作させるためのソフトウェア。推論エンジンやサーバー、ダッシュボード、量子化ツールなどで構成され、OpenAI/Anthropic互換APIを備える。

　v1.1.28の目玉は、Linux上の単一NVIDIA GPU環境におけるDeepSeekのデコード高速化だ。メインメモリにエキスパートが保持されている場合に、GPUが必要なエキスパートをより効率的に取得できるようになった。この結果、GeForce RTX 3090では最大約2倍、V100では14%、VRAMの空き容量が少ない場合は35%のデコード高速化を実現した。

　また、DeepSeekにおいて512Kおよび1Mトークンのコンテキストへの対応、ストリーミング中のチャットの安定化、AMD GPUでのGLM実行と、複数GPUでのDeepSeek実行のオプトイン対応が実施された。