HBMの再設計でAI性能アップへ。NVIDIAが「NVHBM」発表

　HBM内にメモリコントローラを内蔵するなどして、AIアクセラレータの性能向上を図る技術「NVHBM」が登場した。NVIDIAが8月26日に発表したもので、HBMの帯域幅向上や消費電力削減を実現するものとなる。

　NVHBMは、同社が大手メモリベンダーと共同で設計/検証したHBMのベースダイ技術。設計の見直しによるパッケージ内スペース最適化や省電力化などを通じて、HBM4eと比べてスタック辺りのメモリ帯域幅を最大30%引き上げらるという。加えて、NVLink Fusionとの組み合わせにより、カスタムAIアクセラレータ(XPU)の性能向上を実現できるとする。

　ベースダイ周りでは、メモリコントローラをXPUからHBM内に移動するとともに、メモリインターフェイスをより狭いカスタムPHYに変更。HBM4eと比べ、PHYおよびサポート回路の面積を最大67%削減した。あわせて、インターポーザーの配線がシンプルになったことで、同じチップ面積でシリコンに使えるエリアが最大80%増加した。こういったスペースを活用し、演算などを行なうメインダイを30%増やして、さらに多くの機能を実装できるようになる。

　HBM部分では、HBM4eと比べて電力使用量を15%削減。2,000WのXPUを使った1GWデータセンターの場合であれば、XPU最大1万5,000台分の演算余力が生まれると説明している。XPUの演算能力向上や長時間のパフォーマンス維持といった点で寄与できるほか、ラックレベルでは電力供給や冷却システムの負荷軽減といったメリットももたらすという。

　これに加えてラック全体では、同社のインターコネクト技術であるNVLink Fusionを組み合わせることで、XPUをNVIDIA AIプラットフォームのほかのコンポーネントと高速に接続。XPUあたりのエンドツーエンドでの性能は30%引き上がるとしている。