NVIDIA H100を768基から3,584基にスケールアウトすると、約4.67倍のGPU数になるが、少ない性能低下でスケールアウトできていることが分かる。NVLink Switchのような高速で低遅延なインターコネクトなどを採用している効果になる(出典 : NVIDIA MLPerf Training v3.0 Results、NVIDIA)
