Nvidia开源的Dynamo项目，实现存储系统多级缓存算法，热数据在显存、温数据在主机内存、冷数据在 SSD 或远端对象存储，并通过一套 统一的索引 + 异步流水线实现自动迁移与透明访问，但是多级存储之间的数据迁移流程复杂，延迟开销难以压缩。 微软推出的LMCahce存储系统，高度兼容vLLM等推理框架，但是对分布式存储支持较低，空间上限低。 阿里巴巴提出一种将KV Cache空间扩展到Tair数据库的远端存储方案，存储空间易扩展，但是读写性能难以满足LLM推理业务的低延迟需 求。 CXL（Compute Express Link） 作为一种新兴的高速互联技术，以其高带宽、低延迟和硬件级缓存一致性的特性，为破解内存瓶颈带来了 新的希望，可以解决AI和高性能计算中遇到的内存瓶颈问题。 业界关于CXL存储加速LLM推理的研究仍然较少，探索如何利用CXL等新型介质扩展KV Cache空间，进而将成熟的软件栈迁移到CXL硬件场 景，是一项非常有意义的工作。 当大语言模型（LLM）走向千行百业，推理效率与显存成本的矛盾日益尖锐。 KV Cache （Key-Value Cache）作为提升生成速度的核心技术，却像一个 ...

如果您希望可以时常见面，欢迎标星收藏哦~ 来源：内容 编译自 chosun ，谢谢。 SK海力士23日宣布，已完成其基于CXL 2.0的DRAM解决方案CMM（CXL Memory Module）- DDR5 96GB（千兆字节）产品的客户认证。 https://biz.chosun.com/it-science/ict/2025/04/23/4VTOCIILZNFAFNOKZWQ6477UUM/ 点这里加关注，锁定更多原创内容 *免责声明：文章内容系作者个人观点，半导体芯闻转载仅为了传达一种不同的观点，不代表半导体芯闻对该 观点赞同或支持，如果有任何异议，欢迎联系我们。 CXL 是 一 种 下 一 代 解 决 方 案 ， 通 过 有 效 连 接 计 算 系 统 内 的 中 央 处 理 器 (CPU) 、 图 形 处 理 单 元 (GPU) 和内存，支持大容量、超高速计算。它基于 PCIe 接口，具有池化功能，可实现快速的数据 传输速度和高效的内存利用率。 SK海力士表示，"如果将该产品应用于服务器系统，与现有的DDR5模块相比，容量将增加50％， 产品本身的带宽也将扩大30％，使其每秒能够处理36GB的数据 ...

如果您希望可以时常见面，欢迎标星收藏哦~ 来源：内容 编译自 chosun ，谢谢。 https://biz.chosun.com/it-science/ict/2025/04/23/4VTOCIILZNFAFNOKZWQ6477UUM/ 点这里加关注，锁定更多原创内容 *免责声明：文章内容系作者个人观点，半导体芯闻转载仅为了传达一种不同的观点，不代表半导体芯闻对该 观点赞同或支持，如果有任何异议，欢迎联系我们。 SK海力士23日宣布，已完成其基于CXL 2.0的DRAM解决方案CMM（CXL Memory Module）- DDR5 96GB（千兆字节）产品的客户认证。 CXL 是 一 种 下 一 代 解 决 方 案 ， 通 过 有 效 连 接 计 算 系 统 内 的 中 央 处 理 器 (CPU) 、 图 形 处 理 单 元 (GPU) 和内存，支持大容量、超高速计算。它基于 PCIe 接口，具有池化功能，可实现快速的数据 传输速度和高效的内存利用率。 SK海力士表示，"如果将该产品应用于服务器系统，与现有的DDR5模块相比，容量将增加50％， 产品本身的带宽也将扩大30％，使其每秒能够处理36GB的数据 ...