ニュース

AIが最大3.2倍高速に、LFM2.5用ドラフトモデル無償公開

左が通常時、右がDSparkドラフトモデル活用時

 ノートPCなどの上で動くAIエージェント特化モデル「LFM2.5」がさらなる高速化を果たした。Liquid AIは8月20日、LFM2.5ファミリーの推論速度を大幅に引き上げる「DSparkドラフトモデル」をHugging Faceで公開した。LFM(Liquid Foundation Model)初の投機的デコーディングモデルで、出力品質を維持しつつ、デコーディング速度を最大3.2倍高速化できるとする。

 投機的デコーディングは、小さなモデル(ドラフトモデル)を使ってトークンを予測し、大きなモデル(ターゲットモデル)がこれをまとめて検証することで、出力品質を保ちながら推論速度を高速化する手法。LFM2.5ファミリーでは、推測手法としてDSparkと呼ばれるものを採用しており、「LFM2.5-2.6B」、「LFM2.5-1.2B-Instruct」、「LFM2.5-8B-A1B」向けにドラフトモデルが提供される。

 MATH500やHumanEvalなどのデータセットを使って実施したテストの平均でみると、スループット(トークン/s)はLFM2.5-2.6Bの場合、NVIDIA H100で2.67倍、M4 Max(MacBook Pro)で2.27倍に高速化した。また、LFM2.5-1.2B-Instructの場合はそれぞれ2.1倍、2.54倍、LFM2.5-8B-A1Bの場合は2.54倍、1.18倍速くなっており、大規模アクセラレータとエッジデバイスのどちらにおいても推論速度の向上を実現できたとしている。

 DSparkドラフトモデルは、Hugging Faceにてオープンウェイトで公開中。SafetensorsおよびGGUF形式にて入手できる。

LFM2.5-2.6Bのテスト結果
LFM2.5-1.2B-Instructのテスト結果
LFM2.5-8B-A1Bのテスト結果