高速・大容量なHBM3eメモリ採用で性能向上の「NVIDIA H200」

　NVIDIAは、HopperアーキテクチャとHBM3e採用のGPU「NVIDIA H200」および同GPU搭載の「NVIDIA HGX H200」を発表した。

　NVIDIA H200は、高速で大容量なHBM3eメモリを採用したHopperアーキテクチャに基づくGPU。メモリの帯域幅は4.8TB/s、容量は141GBに達する。

　NVIDIA H100と比べ、メモリ帯域幅は1.4倍、容量は2倍となり、大規模言語モデルの推論ではLlama2 70Bで1.9倍、GPT-3 175Bで1.6倍の高速化を実現。HPCのほか、生成AIや大規模言語モデル(LLM)の高速化を図れるとする。

　NVIDIA H200は、4Wayまたは8Way構成のNVIDIA HGX H200サーバーボードとして提供される。NVIDIA HGX H100システムのハードウェアおよびソフトウェアとの互換性も確保している。