AIチップ上にDRAMを積層！SamsungとSK hynixが超高速HBMを開発中

現在のAIアクセラレータ(XPU)とHBMモジュールによる性能の限界

　半導体メモリ大手のSamsung ElectronicsとSK hynixはそれぞれ、AIアクセラレータ(GPUやASIC、XPUなどのAIチップ)の上にDRAMダイ(単数あるいは複数)を載せる超高速HBM(High Bandwidth Memory)技術を開発中であるとして、その技術概要を半導体メモリとストレージのイベント、FMS: the Future of Memory and Storageで発表した。

　複数のDRAMダイを積層する広帯域DRAM技術HBMは、GPUやASICなどのAIアクセラレータと組み合わせることでAIシステムの学習と推論を高速に実行させるメモリとして知られる。通常のHBMはモジュール構成であり、複数の専用DRAMダイと1枚のロジックダイ(ベースダイ、最下層に配置)を積層してシリコン貫通電極(TSV)とマイクロバンプによってすべてのダイ間を垂直に接続してある。

　このHBMモジュールとAIアクセラレータを同一の中間基板(インターポーザ)に近接して横に並べ、1個のパッケージに封止する。1個のAIアクセラレータ(XPU)と、2個～6個のHBMモジュールを組み合わせることが多い。大規模な構成では、2個のAIアクセラレータと12個のHBMモジュールを同じパッケージにまとめることもある。

現在のHBMモジュールとXPUの性能限界。両者の接続に必要な距離は、ある程度までしか短くできない。Samsung ElectronicsがFMSの基調講演で発表したスライドから

　HBMモジュールとXPUは、インターポーザの多層配線を介して接続する。最上層のDRAMダイから見ると、ロジックダイまでのTSV配線と、ロジックダイの内部配線、インターポーザの多層配線を経由してXPUダイとつながることになる。合計した配線距離はそれなりの長さが必要であり、データ転送速度の高速化と消費電力低減の制限要因となる。

XPUの上にHBMを載せて接続距離を最小化

　そこでXPUの上にDRAMダイの積層モジュールを搭載することで、両者の接続に必要な距離をできる限り短くする。搭載するDRAMダイの枚数は1枚、4枚、8枚などのオプション、搭載するモジュールの数も1個、2個、4個などのオプションがある。

従来のHBMモジュール搭載XPUパッケージ(左)と新たに提案されたXPUとHBMを垂直に重ねるXPUパッケージ(右)。いずれも概念図であり、寸法は正確ではない。従来パッケージではコアダイ(DRAMダイ、黄色部分)の積層モジュールを貫通する電極配線(黄色い細い線)とベースダイ(ロジックダイ、灰色部分)を縦横に延びる配線(黄色い細い線)、インターポーザ(中間基板、黒灰色の板)内部を縦横に延びる配線(黄色い細い線)を経由してDRAMとXPU(左端の黒い部分)を接続していた。接続には、ある程度の距離を必要になる。XPUとHBMを垂直に重ねるパッケージでは、DRAMダイ(黄色部分)と中間層(インターレイヤ)、XPUを垂直な配線(黄色い細い線)で結ぶ。接続に必要な距離が短くなり、データ転送時間の短縮とデータ転送エネルギーの最小化が見込める。Samsung ElectronicsがFMSの基調講演で発表したスライドから

　FMSの基調講演セッションではSamsung Electronics(以降はSamsungと表記)が「zHBM」の名称でAIチップ(XPU)の上にHBMを載せる超高速低消費メモリモジュールの構想と特徴を説明した。

XPUの上にHBMを載せる超高速低消費メモリモジュール「zHBM」の例。XPUチップの上に4個のモジュールを載せる。DRAMダイの枚数は1枚/モジュールと少ない。SamsungがFMSの基調講演で発表したスライドから

素晴らしい性能を誇るzHBM、ただし実現は容易ではなさそう

　Samsungはまず、zHBMの目標性能あるいは推定最大性能をHBM5と比較した。XPU当たりの最大データ転送速度は4倍から8倍に向上し、消費電力当たりのデータ転送速度は3倍に高まり、熱抵抗(℃/W)は4分の1から10分の1に下がるとする。

　ちなみにHBM5は、前世代のHBM4Eと比べてXPU当たりの最大データ転送速度は2倍、消費電力当たりのデータ転送速度は1.2倍、熱抵抗(℃/W)は0.8倍になると同じ講演でSamsungは述べていた。HBM5世代とzHBM世代の性能差が既存の世代間と比べ、かけ離れていることが分かる。言い換えると、zHBM世代の目標性能を実現することは、かなり難しい。

zHBMの性能(目標性能あるいは推定最大性能)。スライドではzHBMのDRAMダイ枚数は4枚、モジュール数は1個に見えるが、実際のところは不明。さらに比較対象であるHBM5の構成も詳細は明示されていない。SamsungがFMSの基調講演で発表したスライドから

HBM5モジュールと前世代であるHBM4Eモジュールの性能比較。SamsungがFMSの基調講演で発表したスライドから

TSV密度の飛躍的な向上と、金属配線層の最適化がカギ

　zHBMの極めて高い性能を実現するため、Samsungは少なくとも2つの要素技術を開発している。TSVの面密度を大幅に高める技術と、熱抵抗低減を目的とする金属配線層の最適化技術である。

　ダイ間の積層接続技術には従来のマイクロバンプ接続技術ではなく、ウェハ間を直接接合するハイブリッド銅接合(HCB: Hybrid Cu Bonding)技術を採用する。HBM4E世代との比較では、銅電極の接合ピッチ、すなわちTSVピッチを0.3倍に詰めるとともに、TSVの直径を約3分の1と細くし、さらにはシリコンダイの厚みを半分に減らした。この結果、HBM4E世代と比べてTSVの密度をおよそ10倍に高められるとする。

「zHBM」ではウェハ間を直接接合するハイブリッド銅接合(HCB: Hybrid Cu Bonding)技術を採用。左上はシリコンダイの厚みとTSVの直径およびピッチの変化イメージ。左下はマイクロバンプ接続とハイブリッド接合の接続断面観察像。右はシリコンダイの厚みとTSVの直径とピッチ、TSV密度をHBM4EとzHBMで比較したもの。SamsungがFMSの基調講演で発表したスライドから

　熱抵抗低減を目的とする金属配線層の最適化ではまず、DRAMダイの積層数を最適化した。XPUとの垂直積層だと従来のHBMよりも熱抵抗が高くなりやすい。そこでスタック高さを最大で4枚に抑えた。現状のオプションは1枚あるいは4枚とみられる。さらに金属多層配線の層数を抑えることで、垂直方向の放熱性を高めた。

　12枚積層(12H)のHBM4Eと比較した場合、zHBMはスタック高さが3分の1(4枚積層の場合)あるいは10分の1(1枚積層の場合)と低背化し、金属配線層は0.8倍に減る。熱抵抗は4分の1(4枚積層の場合)あるいは10分の1(1枚積層の場合)と大幅に下がるとする。

熱抵抗低減を目的とする金属配線層の最適化。左上はスタック高さの低減、左下は金属多層配線の層数削減のイメージ。右は熱抵抗の変化をHBM4E(12枚積層)とzHBM(4枚積層と1枚積層)で比較した結果。SamsungがFMSの基調講演で発表したスライドから

AIチップのSRAMキャッシュとHBMの性能ギャップを埋める

　SK hynixもFMSの基調講演でSamsungと類似のメモリモジュール「3D-Stacked DRAM」を公表した。データ転送速度はHBMの2倍～10倍と高く、記憶容量はHBMの13分の1～3分の1と少なく、1bit当たりデータ転送に必要なエネルギーはHBMの2分の1～2.5分の1と低い。XPUのキャッシュSRAMと、HBMモジュールのメモリ性能ギャップを埋めるメモリ技術と位置付ける。

3D-Stacked DRAMの概略。SRAMよりも大きな記憶容量と、HBMよりも高いデータ転送速度(帯域幅)、HBMよりも低い1bitあたりのデータ転送エネルギーを実現するメモリモジュールと位置付ける。コンピュートダイはAIアクセラレータ(GPUやASIC、XPUなど)を想定する。SK hynixがFMSの基調講演で発表したスライドから

　今回のFMSでは3D-Stacked DRAMに関する詳細をSK hynixは明らかにしなかった。展示会の企業ブースでも、SamsungブースがzHBMの模型を出品していたのに対し、SK hynixブースには筆者の見る限り、説明がなかった。今後の展開を待ちたい。

展示会のSamsungブースに出品されていた「zHBM」の巨大な模型。4枚のDRAMダイをXPUの上に積層したもの(最下層のコアダイとXPUの間には中間層がある)。最上層のコアダイの上には鏡が斜めに置いてあり、TSVと思われる円柱列(太いTSVと細いTSV)を来場者が確認できるようになっていた。筆者が2026年8月5日に撮影したもの