NAND積層でHBM超えの大容量、SandiskのHBFが推論GPUを半減

広帯域フラッシュ(HBF)はHBMを超える大容量と低コスト、低電力を鼎立

　NANDフラッシュメモリのシリコンダイを積層する広帯域メモリモジュール「HBF(High Bandwidth Flash)」が急激に注目を浴びつつある。大規模かつ高性能なAI学習・推論システムでは従来、GPUあるいはAIアクセラレータの主記憶に、DRAMベースの広帯域メモリモジュール「HBM(High Bandwidth Memory)」が採用されてきた。

　近い将来に普及すると見られる高性能AI推論システムでは、応答時間を短くするために極めて大きな容量の高速メモリを搭載することが不可欠だとされる。主記憶に必要とされる記憶容量はかなり大きく、HBMでは容量が不足する可能性が少なくない。

　HBMの代替となる半導体メモリとして期待がかかるのが、シリコンダイ当たりの記憶容量がDRAMと比べて10倍～100倍と大きなNANDフラッシュメモリである。シリコンダイの積層枚数が同じであれば、メモリモジュール当たりの記憶容量を10倍～100倍に拡大できる。そしてNANDフラッシュメモリの読み出しアクセス時間はDRAMに近い。DRAMと同等ではないものの、かなり短い。読み出しスループットではHBMとほぼ同じ帯域幅を期待できる。

NANDフラッシュメモリのシリコンダイを積層する広帯域メモリモジュールHBFのコンセプトと特徴。基本的な構造はDRAMベースの広帯域メモリモジュールHBMと変わらない。大きな違いは、HBMのコアダイ(メモリダイ)がDRAMであるのに対し、HBFのコアダイがNANDフラッシュメモリであることだ。スライドはSandiskが2026年8月13日に開催した投資家向けイベント「Sandisk Investor Day in Focus 2026」で発表したもの(2026年8月5日に開催されたFMS 2026の基調講演でも同様のスライドが使われた)

　広帯域フラッシュモジュールHBFのコンセプトは、NANDフラッシュメモリ大手のSandiskが2025年2月11日(米国時間)に投資家向け説明会で公表した。同年8月6日(米国時間)にはSandiskが半導体メモリ大手SK hynixと、HBFの開発と仕様策定で協業すると発表した。

エージェントAIの推論エミュレーションでHBFとHBMの性能を比較

　最近では、メモリとストレージのイベント「FMS(Future of Memory and Storage)」(2026年8月4日～6日、米国カリフォルニア州のシリコンバレーで開催)の基調講演(8月5日)と、投資家向けイベント「Sandisk Investor Day in Focus 2026」(8月13日)でSandiskがHBFとHBMのAI推論性能を比較してみせた。

HBF(左)とHBM(右)のAI推論性能比較用主要諸元。スライドはSandiskが2026年8月13日に開催した投資家向けイベントSandisk Investor Day in Focus 2026で発表したもの(2026年8月5日に開催されたFMS 2026の基調講演でも同様のスライドが使われた)

　大規模言語モデル(LLM)にはAlibabaの「Qwen3-480B-A35B」(BF16の16bit浮動小数点形式で総容量960GB)を使用し、マルチターンのエージェントAI作業エミュレーション(Multi-turn agentic AI workload emulation log-normal inter-turn arrival time)を実行した。HBFの記憶容量は4TB(GPU当たり)、HBMの記憶容量は192GB(GPU当たり)である。マルチGPU間のデータ転送速度、メモリモジュールとGPUのデータ転送速度、GPU性能(FLOPS換算)は両者で同じにそろえた。GPUの数はHBF搭載GPUパッケージが1個あるいは4個、HBM搭載GPUパッケージが8個とずらした。

　AI推論のエミュレーションによる出力性能(tok/s)は、実行直後にゼロから急激に増加し、しばらく経過するとほぼ一定となる。この一定値で比較した。HBM搭載GPUパッケージ(GPU 8個)とHBF搭載GPUパッケージ(GPU 4個)では、一定となった出力性能はほぼ同等だった。GPUダイの数で比較するとHBF搭載パッケージでは、HBM搭載パッケージと比べて半分のGPUで同じ推論性能が得られることになる。

HBFとHBMのAI推論性能(tok/s)をエミュレーションした結果(横軸はエミュレーションの経過時間、縦軸は出力tok/s)。スライドはSandiskが2026年8月13日に開催した投資家向けイベント「Sandisk Investor Day in Focus 2026」で発表したもの(2026年8月5日に開催されたFMS 2026の基調講演でも同様のスライドが使われた)

　またHBM搭載パッケージのメモリ総量は192GB×8(GPU数)で1,536GB(1.5TB)、HBF搭載パッケージのメモリ総量は4TB×4(GPU数)で16TBとなる。10.67倍の違いがあるので、メモリコストはどちらが低いとは断じがたい。

用途に応じてHBFとHBMを使い分ける

　Sandiskはまた、用途の違いに応じたHBFの使い方をAIアクセラレータ(XPU)との組み合わせで提案した。最も単純なのは、メモリモジュールをすべてHBMからHBFに置き換える組み合わせ(XPUパッケージ)である。同じ大きさのパッケージでメモリの記憶容量が8倍～16倍に増える。従来はHBMに収容できなかった大規模なデータを、永続的に保存できる。

　次はメモリモジュールの半分をHBF、もう半分をHBMに割り当てたもの。最初のレイアウトに比べると記憶容量は減るものの、変更が頻繁に発生するデータをHBMに格納できる。

用途の違いに応じたHBFの使い方(XPUとの組み合わせ)。左上はHBFだけのメモリモジュール。左下はメモリモジュールの半分をHBF、もう半分をHBMに割り当てたもの。右上はHBFとHBMの両方を搭載するメモリモジュール。右下はAI推論の処理段階によってGDDR SDRAMとHBFを使い分けたもの。スライドはSandiskが2026年8月13日に開催した投資家向けイベント「Sandisk Investor Day in Focus 2026」で発表したもの(2026年8月5日に開催されたFMS 2026の基調講演でも同様のスライドが使われた)

　3番目はAIアクセラレータやGPUとHBFの間に、HBMを配置する組み合わせだ。メモリ階層のティア1がHBM、ティア2がHBFとなる。メモリを階層化することで、データの性格に応じた使い分けが容易になる。HBFはAIシステムのLLMやKVキャッシュなどの書き換えが起きにくくて永続的に保存したいデータを記憶する。HBMはキャッシュとして使われ、書き換えが頻繁に発生するデータを一時的に保存する。

AI推論のデコード処理でHBFを活用

　最後は、AI推論で特定の処理をHBFとXPUのパッケージに担わせる応用だ。AI推論処理は粗く言ってしまうと、ユーザーの入力クエリ(プロンプト全体)から並列計算処理によってKVキャッシュと最初のトークンを生成するプリフィル(Prefill、事前入力処理)と、生成された最新のトークンと既存のKVキャッシュから次のトークンを生成するデコード(Decode)に分かれる。

　プリフィルではGPUの行列演算機能をフル稼働して高速な並列処理を実施する。GPUの演算性能が推論処理性能の上限を決める。デコードではKVキャッシュを読み出してGPUが行列演算を実行するものの、演算の要求性能はプリフィルに比べると高くない。一方でデコードでは大容量のKVキャッシュを短時間で読み出したいので、レイテンシとデータ転送速度に対する要求性能が高い。

　このようにプリフィルとデコードでは要求性能の性格がかなり違うので、プリフィル専用のユニットとデコード専用のユニットを用意することで推論の効率を高めることが考えられている。この構造を「プリフィルデコード・ディスアグリゲーション(PD Disaggregation)」と呼ぶ。そしてプリフィル用のメモリにGDDR SDRAM、デコード用のメモリにHBFを用意することで推論処理を高速化する。デコード用メモリは大規模言語モデル(重み付け行列)と大容量KVキャッシュを格納することが想定されており、HBMやDRAMモジュールでは容量が不足する可能性が高い。

AI推論のプリフィル(左)とデコード(右)のユニット構造。図中でSM coresのSMはストリーミングマルチプロセッサ(SM: Streaming Multiprocessor)を指す。プリフィルでは書き換えが高速なGDDR SDRAM、デコードでは大容量で読み出しが高速なHBFを主記憶に使う。前述のスライドから右下だけを拡大したもの

8個の512GB HBFモジュールと2個のGPUでAI推論エンジンを構成した例。1TB超の大容量KVキャッシュと、3つのLLMを格納している。なお図中のTTNT(Time To Next Token)はトークン出力の間隔、TTFT(Time To First Token)はプロンプト入力から最初のトークンが出力されるまでの所要時間。スライドはSandiskが2026年8月6日にイベントFMS 2026のHBMセッション(パネル討論)で公表したもの

メモリダイのテープアウトが完了、2027年にサンプルを出荷へ

　Sandiskが2026年8月13日に開催した投資家向けイベントSandisk Investor Day in Focus 2026では、HBFのメモリダイ(記憶容量256Gbit)について最初のテープアウトが完了したことを明らかにした。また推論エンジン向けのサンプル出荷は、2027年中を予定するとした。

HBFの開発ロードマップ。Sandiskが2026年8月13日に開催した投資家向けイベント「Sandisk Investor Day in Focus 2026」で発表したスライド

　またSandiskはSK hynix、Google、Tenstorrentとともに、共通仕様の策定団体「HBF Technology Consortium」を2026年2月に立ち上げている。策定作業はオープンソースのデータセンター関連技術コミュニティ「OCP(Open Compute Project)」の下で進行中である。2026年8月3日にはSandiskとSK hynixが共同で、HBFのベースダイ規格(バージョン0.7)を初めて公表した。

HBF Technology Consortiumの歩み。2026年8月3日には、Metaがメンバーに加わった。スライドはSandiskが2026年8月13日に開催した投資家向けイベント「Sandisk Investor Day in Focus 2026」で発表したもの(2026年8月5日に開催されたFMS 2026の基調講演でも類似のスライドが使われた)

　HBFのベースダイ規格バージョン0.7によると、ベースダイは電気的にはNANDフラッシュダイの積層スタック(最大16枚)とAIアクセラレータ(GPU、TPU、XPU)の間に位置し、両者を接続する。物理的にはNANDフラッシュ積層スタックの最下層にレイアウトされる。AIアクセラレータとベースダイのインターフェイスはUCIeである。ベースダイはコントローラ回路とTSV(シリコン貫通電極)のリペア回路、外部からのテスト用回路(IEEE 1149.1準拠およびIEEE 1500準拠)、自己検査回路(BIST)、NANDフラッシュメモリとのインターフェイス回路、AIアクセラレータとのインターフェイス回路などを搭載する。

HBFのベースダイとNANDフラッシュ積層スタック、およびホスト(GPU、TPU、XPUなどのAIアクセラレータ)。HBFのベースダイ規格バージョン0.7から引用したもの

　HBFのデータ転送速度には、3つの速度グレードを用意した。NANDフラッシュダイ8枚を積層する「G1」が最も低い。最大データ転送速度は0.384TB/sである。NANDフラッシュダイ16枚を積層するスタックだとUCIeの転送速度の違いにより、1.536TB/sの「G2」と3.072TB/sの「G3」を選べる。転送チャンネル幅は64bit(全二重通信)で、16個のチャンネルがあることから、全体のバス幅は1,024bitとなる。このバス幅はHBM3e世代までのHBMと同じだ。

HBFのデータ転送速度とUCIe。G1(低速)、G2(中速)、G3(高速)の3つのグレードがある。HBFのベースダイ規格バージョン0.7から引用したもの

　AIシステムでも学習・訓練用途では学習モデルのパラメータが頻繁に書き換わる。書き換え寿命の制限があるNANDフラッシュメモリは使いづらい。一方で学習が完了しているモデルは重み付けがほとんど変わらないので、書き換え寿命の制限が問題とならない。

　逆に、電源を切ってもデータが残るフラッシュメモリは、DRAMに比べると消費電力が著しく低い。AIシステムでも推論向けだといえる。今後の主流とされるエージェントAIでは入力のプロンプトが長くなるとともにエージェントが思考して推論するので、必要とされるKVキャッシュの容量が大きくなるとともに推論当たりの読み出し回数が増える。

　記憶容量当たりのコストがDRAMよりも低いNANDフラッシュメモリは、不揮発性かつ高速読み出しという特徴を備える。HBF以外には、CXLメモリやSSDなどでフラッシュメモリをエージェントAIの推論向けに利用しようとする動きが活発だ。これらの動向については、機会があれば改めて述べたい。