HBM之父：HBM和HBF终将超越GPU

公众号记得加星标⭐️，第一时间看推送不会错过。 近日，闪迪发布了一篇博客文章，采访了韩国科学技术院（KAIST）电子电气工程系高带宽内存 （HBM）先驱金钟浩教授。KAIST是韩国国立研究型大学，金钟浩教授在HBM的研发中发挥了关键 作 用 。 他 目 前 致 力 于 高 带 宽 闪 存 （ HBF ） 技 术 的 研 究 ， 闪 迪 认 为 这 项 技 术 可 以 解 决 GPU HBM 的"墙"问题；即AI工作负载上下文内存（键值缓存）溢出HBM容量，导致向量重复计算耗时过长。 我们在去年底曾撰文讨论过这个问题，并指出其开发过程将十分复杂。作为HBM最大买家的英伟达 尚未公开表示对这项技术有任何兴趣。 此后，英伟达开发了上下文内存扩展技术（ICMSP），该技术利用与DPU连接的NVMe SSD来存储 来自HBM和GPU服务器DRAM的溢出键值缓存数据。ICMSP（推理上下文内存存储平台）的带宽和 延 迟 均 高 于 标 准 SSD ， 因 为 它 所 连 接 的 BlueField-4 DPU 本 身 就 是 一 个 存 储 加 速 器 ， 并 通 过 Spectrum-6以太网连接到Vera Rubin ...