ニュース
NVIDIA H200、AIベンチで世界最高性能を更新
2024年3月28日 01:00
米NVIDIAは27日(現地時間)、AI処理性能のベンチマーク「MLPerf Inference v4.0」における、NVIDIA H200のスコアを公開した。これによると、NVIDIA H200は前世代のNVIDIA H100に対して約1.45倍の推論性能を実現している。
NVIDIA H200は、高速で大容量なHBM3eメモリを採用したHopperアーキテクチャに基づくGPU。メモリの帯域幅は4.8TB/s、容量は141GBで、NVIDIA H100と比べてメモリ帯域幅は約1.4倍、容量は約1.8倍となっている。
MLPerf Inference v4.0で新たに追加されたLlama 2 70Bベンチマークにおいて、NVIDIA H200は業界最高の推論性能だという3万1,712トークン/sを記録した。これはNVIDIA H100と比較して、最大45%の性能向上を示している。
NVIDIA H200のベンチマークでは、LLMの推論処理を高速化するためのオープンソースライブラリ「TensorRT-LLM」が使用されている。TensorRT-LLMの導入により、NVIDIA H100においてもMLPerf InferenceのGPT-Jベンチマークテストで、推論性能が導入前の約3倍に向上したことが報告されている。
