無料のLM Studio、DFlash/DSpark/MTPで推論を高速化

　ローカルでLLMを動かすときの遅さは、アプリ側の工夫でまだ改善できる。Element Labsは8月28日(現地時間)、「LM Studio」の最新安定版「0.4.22 Build 1」を公開した。同バージョンは、DFlashやDSpark、MTP Draftersという3つの投機的デコーディング手法に新たに対応した。公式Webサイトより無料で入手できる。

　LM Studioは、手元のPC上でローカルにLLMを実行するためのデスクトップアプリだ。WindowsやmacOS、Linuxに対応し、基本無料で利用できる。今回追加されたDFlashやDSpark、MTP Draftersは、小さなモデルに続きを先読みさせて大きなモデルの負担を減らす「投機的デコーディング」の実装で、いずれも生成の待ち時間を短くする。

　投機的デコーディングは、性能の異なる2つのモデルを組み合わせて使う。まず小さく高速な「ドラフトモデル」が、続きの単語を数個先まで一気に書き出す。次に本命の大きなモデルが、提案された単語が自分の答えと一致するかをまとめて確認する。一致した分はそのまま採用されるため、大きなモデルが1単語ずつ生成する場合より短い時間で同じ文章が出来上がる。

　本バージョンには、高速化以外の改善も含まれる。OpenAI互換の「/v1/responses」と「/v1/chat/completions」、およびAnthropic互換の「/v1/messages」において、ツールが返す画像に対応した。さらに、FUSE 2非搭載のシステムやChromiumサンドボックスが無効な環境でのAppImage起動時の不具合、Wayland環境でウィンドウフォーカスが変わった際にキーボードショートカットが使えなくなる問題などを修正した。