HBM 深度剖析

最近关于 HBM 的讨论越来越多，尤其是在涉及 AI 芯片领域时。HBM 即高带宽内存（High Bandwidth Memory），是一种特殊的 DRAM，通过垂直堆叠并利用硅片内名为 TSV（硅通孔，Through-Silicon Vias）的微小导线与处理器连接。TSV 技术允许直接连接多个 HBM DRAM 芯片，从而提升整体内存带 宽。 在生成式 AI 时代，内存带宽至关重要，因为模型训练往往受限于带宽而非计算能力。Transformer 模型 中的注意力机制需要存储和计算所有 token 之间的关系，内存需求与序列长度成二次方增长。类似地， 推理阶段内存也成为更大瓶颈，因为需要处理更长的上下文窗口和 Transformer 模型中扩大的键值缓存 （KV 缓存）——KV 缓存的内存消耗随 token 数量线性增长。 高速性能 ：HBM 的带宽可达每秒数 TB，比常规 DDR 内存快 20 倍以上。 低功耗 ：由于紧邻逻辑芯片，数据传输距离短，大幅节省能源。 面积效率 ：单位面积内容量密度最高。 为何 HBM 如此重要？ HBM 的核心优势如下： image-20250604192803128 SK ...