HBM(記憶容量は無限に大きいと仮定)とHBFで「Llama 3.1(4,050億パラメータ)」の処理性能を比較(シミュレーション)した結果。処理は左から「Attn QKV Projection」「Attn Output Projection」「FFN Up-Projection」「FFN Down-Projection」「Final Linear」「Average over LLM Decode Pass」、縦軸は重み(Weight)の読み出し速度。2025年8月6日(米国時間)に半導体メモリのイベント「FMS(the Future of Memory and Storage)」でSandiskが公表した講演スライド(基調講演)から

HBM(記憶容量は無限に大きいと仮定)とHBFで「Llama 3.1(4,050億パラメータ)」の処理性能を比較(シミュレーション)した結果。処理は左から「Attn QKV Projection」「Attn Output Projection」「FFN Up-Projection」「FFN Down-Projection」「Final Linear」「Average over LLM Decode Pass」、縦軸は重み(Weight)の読み出し速度。2025年8月6日(米国時間)に半導体メモリのイベント「FMS(the Future of Memory and Storage)」でSandiskが公表した講演スライド(基調講演)から