ニュース

llama.cpp v1.0.0公開。3年半かけて初のメジャーリリースに

 C/C++で構築されたオープンソースのLLM推論エンジン「llama.cpp」のv1.0.0が11月13日に公開された。約3年半をかけて初のメジャーバージョンがリリースされたかたちとなる。あわせてマシンラーニング向けテンソルライブラリの「ggml」もv1.0.0に更新されている。

 開発チームでは、llama.cppのプロジェクトが大きく成長し、多くのアプリケーションで利用されているとした上で、柔軟かつ安定したAPIを提供していくことが極めて重要であると説明。今後は、APIの互換性が失われるような変更はメジャーバージョンアップとするなど、以下のルールに沿ってリリースを進めていくとした。

  • メジャーバージョン: 互換性が失われる公開APIの変更
  • マイナーバージョン: 後方互換性のある機能やバックエンドの更新、新規モデルのサポート、APIの追加
  • パッチ: API変更を含まないバグ修正

 llama.cpp v1.0.0では、非推奨APIの削除を含むAPI周りの変更を実施したほか、FP8 KVキャッシュやMoEキャッシュに関する改善、UI周りの変更などを行なった。AIモデルでは新たに「Kimi-K3.1-Pro」、「Ripple-65B-Preview (ricursive)」、「xing4_0」、「drama-3 TTS」をサポートした。