本文来自格隆汇专栏：国泰海通证券研究，作者：舒迪 郦奕滢 供应商陆续推出AI高端芯片，内存升级助力DRAM量价齐升。随着运算速度的提升，DRAM及NAND Flash在各类AI延伸应用，如智能手机、服务器、笔电的单机平均搭载容量均有成长，又以服务器领域 成长幅度最高，2024年Server DRAM单机平均容量年增17.3%。伴随AI服务器需求持续增加，AI高端芯 片如英伟达下一代Rubin及云端服务业者（CSP）自研ASIC陆续推出或开始量产，有助于高速运算的 DRAM产品量价齐升。 风险提示：国产替代进程不及预期；技术迭代不及预期。 注：以上内容节选自国泰海通证券已发布的证券研究报告。 报告导读：供应商陆续推出AI高端芯片，内存升级助力DRAM量价齐升。 行业观点及投资建议。英伟达下一代Rubin CPX在硬件层面上分拆了AI推理的计算负载，内存升级提供 更高速传输。供应商陆续推出AI高端芯片，内存升级助力DRAM量价齐升。建议关注存储模组。 英伟达下一代Rubin CPX在硬件层面上分拆了AI推理的计算负载，内存升级提供更高速传输。下一代 英伟达旗舰AI服务器NVIDIA Vera Rubin NVL1 ...

今天几乎是被英伟达Rubin CPX的这个新闻刷屏了，但白天太忙，晚上回来才有时间好好看一下 SemiAnalysis的这个报告。在文章后半段，我们会简单分析一下Rubin CPX利好的两个方向。 AI 推理的两难困境 想明白 Rubin CPX 的价值，得先知道 AI 大模型推理时的一个关键矛盾： 预填充（prefill）和解码 （decode）这两个阶段，对硬件的需求完全是反的 。 在我们之前的一次分析华为的Cloud Matrix 384中光模块用量的直播中，讲到过Prefill和Decode的区 别： 在Prefill阶段特别吃计算能力，但对内存带宽的需求很低；而接下来的Decode，模型要基于第一个 token 不断生成后续内容，这时候就不怎么需要计算了，反而得靠高内存带宽快速调取之前的 KV 缓 存数据。 过去的问题是，大家都用同一种 GPU（比如英伟达的 R200）跑这两个阶段。结果在跑预填充时， R200 上那些昂贵的 HBM 内存（高带宽、高成本）根本用不上，带宽利用率较低，相当于花大价钱 买了个顶配跑车，结果只用来买菜；跑解码时，又觉得计算能力过剩，内存带宽不够用。这种通用 的硬件方案，不 ...