DGX Spark 2台でLLM生成1.8倍速、llama.cppがNCCLに対応

　NVIDIAのAIミニPC「DGX Spark」を2台つなぐと、LLMの推論速度が1台の最大約1.8倍になる。ggml-orgは11月4日(米国時間)、ローカルLLM推論エンジン「llama.cpp v0.9.0」を公開した。このバージョンでは、内部で使用するテンソル演算ライブラリ「ggml」をv0.29.0に更新した。これにより、複数台のマシンでテンソル並列推論を行なう際の通信に、NVIDIAの通信ライブラリ「NCCL」を使用できるようになった。

　llama.cppはLLMの推論エンジン。GGUF形式のモデルを、CPUや各社のGPUを使ってローカルで実行できる。ggmlはその土台となるマシンラーニング向けのテンソル演算ライブラリだ。

　ggml v0.29.0では、別々のプロセスとして動作する複数のランク(並列処理に参加する各単位)の間で集団通信を行なうためのバックエンドインターフェイスを新たに追加した。CUDAバックエンドではこれをNCCLで実装しており、RPCサーバーはNCCLが利用可能な場合にこのインターフェイスを使用する。NCCLは、NVIDIAが提供するGPU間の集団通信ライブラリで、複数GPUの演算結果を集約するAllReduceなどの処理を担う。

　テンソル並列は、各層の演算を複数のGPUに分割して同時に処理する方式。llama.cppにはすでに、RPCサーバーを介して複数台のマシンでテンソル並列を行なう機能が取り込まれている。各マシンが計算した部分的な結果は、2台の間で直接データを交換する独自の方式で集約していた。今回の変更で、RDMAで接続したマシン間のこの集約処理に、NCCLを使用できるようになった。リリースノートでは「初期サポート」と位置付けられている。

　NCCL対応を実装した開発者は、DGX Sparkで「Qwen3.8-27B」の推論速度を測定。その結果、2台でNCCLを使用してテンソル並列を行なうと、プリフィルが1,348.29tok/s、デコード(生成)が23.51tok/sになったという。1台ではプリフィルが846.54tok/s、デコード(生成)が13.02tok/sだったため、それぞれ約1.6倍と約1.8倍に向上した。

　NCCLを使わない従来の方式でも、2台でのデコード速度は1台の約1.7倍まで伸びていた。一方、プリフィルは約1.1倍にとどまっていた。開発者は、デコードはプリフィルに比べて1回の集団通信でやり取りするデータが少ないため、NCCLの効果はプリフィルで大きく表われると説明している。

　このほかllama.cpp v0.9.0では、OCP FP8 E4M3形式の量子化への対応、マルチシーケンス推論時の統合KVキャッシュを効率化する操作「flash_attn_ext_rows」、汎用のバッチテンソルコピーAPIが追加された。また、新たなモデルへの対応なども行なわれた。