Google、従来比性能4.7倍のTPU。HBMの速度/容量も2倍に

　Googleは14日(米国時間)に開発者向けカンファレンス「Google I/O 2024」を開催した。この中で、従来の「TPU v5e」と比較してチップあたりのピーク性能が4.7倍、エネルギー効率は67%向上したという「Trillium」を発表した。2024年後半にもクラウドの顧客向けに提供開始する予定。

　Trilliumは生成AIのより高性能かつ効率的なトレーニングの実現に向けて開発されてきた。4.7倍という性能を達成するために、マトリックス乗算ユニット(MXU)を拡大し、クロックの高速化を図った。加えて、TensorCoreにおいてランダムで粒度の細かいアクセスを、特殊なアクセラレータである第3世代SparseCoreにオフロードすることで、埋め込みの多いワークロードの高速化を図った。

　メモリであるHBMにおいては、次世代HBMを採用することにより、帯域幅と電力効率も改善し、より柔軟なチャネルアーキテクチャを実現。容量と帯域幅を2倍にすることで、より多くの重みやより大きなキー値キャッシュを備えた大型モデルを操作できるようになった。

　また、カスタムの光学ICIインターコネクトを採用したことによりバス幅も2倍となり、ポッドあたり256チップを集積。そしてクラスタに数百ポッドまで拡張できる「Google Jupiter Networking」を組み合わせることで、トレーニングと推論のジョブを数万個のチップまで拡張できるようにした。

　このほかGoogle I/Oでは、2025年初頭に発売される予定のNVIDIA最新GPU「Blackwell」を提供する最初のクラウドプロバイダーになると予告したほか、初のArmベースのカスタムCPUとなる独自のAxionプロセッサも提供していくことを明らかにした。