ニュース

NVIDIA、エージェント型AI時代のCPUコア「Olympus」の詳細

Olympusコアのアーキテクチャ

 NVIDIAは7月21日(米国時間)、最新の「Vera」CPUに採用されている「Olympus」コアの特徴について解説し、ホワイトペーパーも公開した。この解説で、Olympusを搭載したVeraは、エージェント型AI時代の処理に向けて最適化を施したCPUであることが明らかとなった。

 Olympusコアのフロントエンドは、コアに有用な命令を供給し続けるように設計されている。中でも中核を成すのが分岐予測サブシステムで、統計的に偏りのある複雑な分岐パターンで精度を向上させるためのニューラル分岐予測器を搭載。また、10-wideのデコードパスを備えることで、レイテンシに敏感なワークロードに対してスループットを維持できる。

 また、依存関係のある一連の処理における性能向上のため、広範囲なリネームおよびアロケーションエンジンを備えるほか、大きなリオーダーバッファと豊富なレジスタ容量を備え、より多くの命令を同時実行することで、深いアウトオブオーダー実行を実現。また、依存関係を解消するためのメモリリネーミングや値予測、クリティカルパス高速化といった機能により、ポインタを多用するコード、シリアル化されたメモリ操作、長い依存関係チェーンによるストールを解消する。

 実行エンジンは、AIワークロードにおいて重要となるFP8フォーマットをサポートする6基の128bit SVE2(Scalable Vector Extension 2)SIMDパイプラインを備え、複雑なベクター演算に最適化。これにより、推論やデータ処理における並列演算性能を大幅に引き上げている。

 キャッシュサブシステムもレイテンシを最小化するように最適化されており、各コアに64KBのL1命令キャッシュと96KBのL1データキャッシュ、大容量の2MB L2キャッシュを備える。さらにチップ全体で164MBのL3キャッシュを共有することで、不規則なメモリアクセスが頻発するエージェント特有のワークロードでも命令やデータに対応する。

 エージェント向けに構築されたという「NVIDIA Spatial Multithreading」技術も特徴で、スレッドごとの最大性能が求められる場合には高スループットのシングルスレッドコアとして動作し、高いスレッド密度が求められる場合には独立した2つの実行コンテキストとして動作させられるという。Vera CPUとしてはOlympusコアを88基搭載し、176個のSMTスレッドを提供する。

 また、メモリには高帯域かつ電力効率に優れたLPDDR5Xを搭載したSOCAMM2を採用し、最大1.2TB/sのメモリ帯域幅(コアあたり14GB/s)を提供。NVLink-C2C経由では最大1.8TB/sの広帯域で別のVera CPUとコヒーレント接続される。さらにGPUやネットワーク、ストレージ、アクセラレータとは88レーンのPCIe 6.4で接続。CXL 3.1も対応し、メモリの拡張もできる。

コア内部の接続
Veraのインターフェイス

 Veraとして特筆すべきポイントとしては、近年のx86 CPUで主流となっているチップレット設計を避け、モノリシックなダイを採用している点が挙げられる。NVIDIAによれば、チップレット設計は製造歩留まりに優れる一方で、ダイ間の通信によるレイテンシや複雑なNUMAドメインの管理がソフトウェア側の負担となる。モノリシックとすることで複雑性を解消し、コア間のレイテンシも最大50%抑えられるという。

複雑なNUMAノードを解消
モノリシックダイのVera

 従来のx86のようにクロックを上げずに性能を向上させるためには、IPC(クロックあたりの命令実行数)の向上が求められる。Olympusコアは上記のように一からアーキテクチャを見直すことで、競合となるAMDの最新アーキテクチャ「Zen 5」(EPYC 9755)と比較して、エージェントワークロードにおいて最大1.8倍という大幅な性能向上を達成したとしている。

EPYC 9755と比較してエージェント型AI処理で最大で1.8倍の性能を発揮