ニュース

テキストを生成しない爆速AI「意思決定モデル」が続々。Clefなど3本まとめ

 テキストを1トークンも生成せず、分類やルーティングといった判断だけを高速に返す「意思決定モデル」が、にわかに盛り上がりを見せている。Typesafe AIの「Jev」が火付け役となったこのジャンルに、互換モデルや対応実装が相次いで登場した。

 意思決定モデルは、状況と型付きの質問を入力すると、選択肢ごとの確率を1回の推論で返すモデル。LLMのような自由なテキスト生成を行なわないが、代わりに高速で、出力の解析も不要なことから、エージェントの分岐処理やガードレール、チケットの振り分けなどに向くとされる。

Cloudflare「Clef」、ベンチマーク首位でJev超えをうたう

 Cloudflareは10月1日(現地時間)、意思決定モデル「Clef」および小型版「Clef-flash」を発表した。オープンウェイト(モデルの重み)がApache 2.0ライセンスのもとHugging Faceで公開されているほか、同社のサーバーレスAI基盤「Workers AI」上のホスト版も利用できる。

 Clefは「Qwen3.8-27B」、Clef-flashは「Qwen3.5-9B」をポストトレーニングしたモデルで、Clefは画像入力にも対応し、コンテキストウィンドウは64k。

 性能面では、Cloudflareが自社で実施した評価で、意思決定モデル向けベンチマーク集「Decision Index」の首位だとしている。BANKING77やCLINC150+OOSなどではJevを上回った一方、GPQA DiamondやMMLU-ProなどではJevが上回っている。レイテンシ中央値もClefが209.3ms、Clef-flashが38.8msと、Jevの524.1msより高速だった。

Cloudflareの評価でClefが首位に

vLLM、DiffusionGemmaを「Jev風」に動かすモードを搭載

 テキスト拡散型言語モデル「DiffusionGemma」をJevのような意思決定モデルとして動かす構造化生成モードも、vLLMにマージされた。

 このモードはMatt Mastracci氏によるもの。指定された構造化出力フォーマットでキャンバスの位置を固定し、トークンとlogprobsを提供するようモデルに要求することで、もっとも可能性が高い回答と、その回答に対する信頼度を得る。テストではDGX Spark 1台で、32並列時に毎秒54リクエスト(約162判断)を処理できたという。

Liquid AI、APIですぐ試せる「d1」

 Liquid AIは、意思決定モデル「d1」をAPI経由で提供している。質問ははい/いいえの確率を返す「noul」、選択肢への確率分布を返す「choice」、順序づけられたルーブリック上で確率加重された位置を返す「score」の3タイプ。同社のコンソールでAPIキーを取得すれば「d1:free」モデルとして試用できる。