公众号记得加星标⭐️，第一时间看推送不会错过。 来源：内容 编译自 semianalysis 。 随着 AI 模型日益复杂，AI 系统需要容量更大、延迟更低、带宽更高、能效更高的内存。不同类型 的内存各有优缺点。SRAM 速度极快，但密度较低。DDR DRAM 密度高且价格低廉，但带宽不足。 目前最流行的内存是片上 HBM，它在容量和带宽之间取得了平衡。 HBM 将垂直堆叠的 DRAM 芯片与超宽数据路径相结合，在带宽、密度和能耗之间实现了最佳平 衡，适用于 AI 工作负载。HBM 的生产成本远高于 DDR5，且价格确实存在溢价，但市场对 HBM 的需求依然强劲。所有用于 GenAI 训练和推理的领先 AI 加速器都使用 HBM。加速器路线图的共同 趋势是通过增加更多堆栈、增加层数以及更快的 HBM 迭代来扩展每个芯片的内存容量和带宽。正如 我们所证明的那样，依赖其他形式内存的架构性能往往不尽如人意。 在本问中，我们将探讨 HBM 的现状、供应链动态以及未来将发生的突破性变革。我们将探讨 HBM 在 AI 加速器架构中的关键作用、HBM 对 DRAM 市场的影响，以及它为何颠覆了内存市场分析的方 式。 首先， ...