如果您希望可以时常见面，欢迎标星收藏哦~ 在AI的狂飙猛进中，大模型规模呈指数级增长态势，从最初的 GPT-3的1750 亿参数，到如今前 沿模型迈向万亿级参数的征程，每一次跨越都对计算资源提出了近乎苛刻的要求，尤其是存储带 宽，给传统的内存技术带来了巨大挑战。 在过去几十年中，服务器硬件的算力峰值基本以每两年3倍的速度飞速增长，展现出强大的计算潜 力。然而，DRAM带宽的增长速度却仅为每两年1.6倍，片间互连带宽的增速更是只有每两年1.4 倍。这种不均衡的发展速度，使得在长达20年的时间跨度里，造成了内存的存取速度严重滞后于 处理器的计算速度，内存瓶颈导致高性能处理器难以发挥出应有的功效，这对日益增长的高性能计 算形成了极大的制约。 这种不均衡的发展，被业界称为"存储墙"问题。 "存储墙"的存在使得处理器的性能无法得到充分发挥，严重制约了AI模型的训练和推理速度。有 相关研究表明，在一些大规模的AI训练任务中，由于内存墙的存在，处理器的实际利用率可能只有 理论峰值的20% - 30%，这无疑是对计算资源的巨大浪费。 直到HBM的出现，宛如一场存储领域的革命，彻底改变了传统DRAM的布局模式。HBM 凭借其 ...