ニュース

NVIDIAマルチGPUでLLM高速化、「LM Studio」がテンソル並列処理をサポート

 ローカルLLMアプリの「LM Studio」が5月29日、「0.4.15(Build 2)」にアップデートされた。0.4.15(Build 2)では、新たにNVIDIAのCUDA環境において、マルチGPU環境でテンソル並列処理をサポートし、高速化が図られた。

 このテンソル並列処理機能は、NVIDIAが5月31日に正式発表したもので、マルチGPU環境において最大2倍のメモリ容量と1.8倍の計算能力を実現できる。

 このほか0.4.15(Build 2)では、物理バッチサイズの詳細ロードオプションの追加、バグ修正が行なわれている。

 なお、同バージョンの(Build 1)では、「LM Studio Engine Protocol Beta 2」が取り入れられ、より頻繁なエンジンアップデートを可能にした。

NVIDIAが発表したテンソル並列処理機能による高速化