Workflow
广发证券:MRDIMM和CXL增加AI服务器内存 建议关注产业链核心受益标的
Zhi Tong Cai Jing·2025-10-29 02:29

广发证券发布研报称,在高并发、长上下文的密集型推理中,MRDIMM与CXL形成"近端高带宽+远端 大容量"的分层协同,以更低TCO增加AI服务器内存供给与弹性扩展。CXL3.1对KVCache的性能提升尤 为明显,特别适用于高并发、超长上下文的负载。建议关注产业链核心受益标的。 CXL提供远端/池化拓展,在KVCache密集型推理中形成显著TCO优势 CXL3.1对KVCache的性能提升尤为明显,特别适用于高并发、超长上下文的负载。具体体现为:(1)内 存池化与扩展:在CPU/GPU/加速器间做内存池化,将部分KVCache从昂贵的GPU显存弹性卸载到CXL 设备,在不增加GPU成本前提下扩大有效容量至TB级;(2)低时延访问:CXL访问时延可逼近 CPUDRAM,使置于CXL的KVCache在高负载下亦能维持接近实时的解码性能;(3)解耦式KVCache架 构:在字节跳动LLM服务栈中,将KVCache卸载至CXL可使batch size提高30%、GPU需求降低87%、 prefill阶段GPU利用率提升7.5倍;(4)分层内存管理:CXL支持冷热分层,允许根据访问频率对KVCache 进行动态放置。热 ...