ニュース
Micron、帯域1.2TB/sで容量24GBの「HBM3 Gen2」。LLMに最適
2023年7月27日 13:30
Micron Technologyは26日(米国時間)、帯域幅1.2TB/sで8層のスタックにより容量24GBを実現したメモリ「HBM3 Gen2」を発表した。現在、サンプル出荷を行なっており、2024年初頭に量産を開始する。
業界最新を謳う1βプロセスノードを採用し、速度と容量向上を図った。ピンあたりの速度は9.2Gbps。競合のHBM3製品と比較するとTSV数を2倍に増加させ、金属密度を5倍向上させることで熱抵抗を低減させたのもポイントで、既存の競合のHBM3と比較すると速度は最大で50%向上し、電力あたりの性能は2.5倍になるという。
多層DRAMスタッキングに関しては、TSMCの3Dfabric Allianceのパートナーシップによって実現したという。今回の製品はダイを8層でスタックしているが、2024年第1四半期には12層スタックにより36GBの容量を実現し、サンプル出荷を行なうとしている。
設計にあたって、ノイズ耐性のあるデータアライメントや、高度な信号および電源の高品質デザインにも注力。これにより競合の既存製品より50%もの高速化を達成したといい、これらの技術的なブレイクスルーを取り入れた結果、ネーミングでHBM3“e”ではなく“Gen2”を採用することを決めたという。
HBM3 Gen2は近年流行している大規模言語モデル(LLM)のために開発された。速度が50%向上し容量も増加した結果、大規模言語モデル(LLM)のトレーニング時間を30%削減できるほか、1日あたりの推論のクエリ処理数も50%増加させることができるという。
ちなみにMicronによれば、これらの結果は「GPUの速度向上とは無関係(つまりHBM3対応GPUとHBM3 Gen2対応GPUがそもそもアーキテクチャが異なれば速度向上は当たり前で、この数字は無意味になる)」だという。今時点では、LLMの処理速度はGPU/ASICに接続されるメモリ速度への依存度合いが高いということだろう。
HBM3 Gen2は「ドロップイン互換性」を確保しているため、ピン、I/O、プロトコルなど従来のHBM3と共通(ただし、GPUやASICがこの速度をサポートする必要がある)。