ニュース

GPT-5.6は自分で自分を最適化する。性能とコストで競合を上回ったワケ

モデルだけでなく、システム全体を最適化

 「GPT-5.6 Sol」は自身の推論システムを自ら最適化することで、競合の「Claude Fable 5」を上回る性能を実現したという。OpenAIが7月29日、その詳細について解説した。

 GPT-5.6モデルファミリーは、上位のGPT-5.6 Sol、中位のGPT-5.6 Terra、下位のGPT-5.6 Lunaの3つが用意されているが、いずれも性能とコストのバランスを重視した設計が特徴となっている。たとえばGPT-5.6 Solの場合、最大推論において競合であるAnthropicのClaude Fable 5を上回るコーディング性能を、半分以下のコストで実現。GPT-5.6 TerraはGPT-5.5と同等の性能を半分のコストで、GPT-5.6 Lunaは高速なモデルをSolの20%のコストで、それぞれ提供している。

 この実現に向けては、モデル自体の改善だけでなく、ユーザーが求める性能や低遅延性、信頼性などを維持しつつ、同じハードウェアでより多くのトークンを処理できるシステムが求められる。そこで同社は、GPT-5.6 SolとCodexの能力を使って、システム全体の最適化を図ったという。まず、推論の高速化においては主に4つの改善を行なった。

  1. 負荷分散
    本番トラフィックの分析に基づき、リクエストの分散処理やルーティングを改良することで、モデルの提供コストを大幅に削減
  2. モデルの順伝播処理の最適化
    モデルの数学演算を実行するコアコードの最適化などにより、モデルの順伝播処理(入力を次のトークンの予測に変換する処理)を最適化し、エンドツーエンドのサービスコストを20%削減
  3. 投機的デコーディングの改善
    投機的デコーディングで用いられる自身のドラフトモデルの学習プロセスに介入しながら、モデルを改善し、トークン生成効率を15%以上向上
  4. KVキャッシュの最適化
    入力や出力、バッチサイズ、キャッシュヒット率といった実際のワークロードを分析し、ワークロードに応じた設定を生成/評価して、ハードウェア性能の効率的な活用を実現

 これとあわせて、エージェントハーネスで発生する反復的な作業の効率化も図った。ChatGPT WorkやCodexは、1回のユーザーの指示に対し、コード検証やテスト実行などの作業でモデルやツールの呼び出し/実行を何十回も繰り返し行なう場合がある。これに対し、オーケストレーションレイヤーとしてエージェントハーネスを用意し、以下のような改善を施すことで、繰り返し処理のオーバーヘッドを削減した。

  1. コンテキストの肥大化防止
    エージェントハーネスが、必要なときだけツールやMCP、プラグインなどを提供するとともに、ツールによる出力を最大1万トークンに制限することで、コンテキストウィンドウの肥大化を抑え、不要な推論を削減
  2. プロンプトキャッシュのヒット率改善
    モデルが参照する実行履歴を追記のみで処理し、新たなメッセージやツールの実行結果などを割り込ませず、必ず最後に追加する仕組みを採用。処理と関連付けたプロンプトプレフィックスを活用し、プロンプトキャッシュのヒット率を高め、再計算の発生を回避
1回のユーザーの指示に対し、さまざまなモデルやツールで繰り返し処理が行なわれる
プロンプトキャッシュを効率化して再計算を減らす

 同社では、今回GPT-5.6がスタック全体の改善に大きく貢献できたことから、今後の最適化ペースを加速できるとし、カーネルの最適化やスタック基盤の改善なども継続して行なうことで、コスト効率に優れたサービスをユーザーに提供していくとしている。