Nvidia开源的Dynamo项目，实现存储系统多级缓存算法，热数据在显存、温数据在主机内存、冷数据在 SSD 或远端对象存储，并通过一套 统一的索引 + 异步流水线实现自动迁移与透明访问，但是多级存储之间的数据迁移流程复杂，延迟开销难以压缩。 微软推出的LMCahce存储系统，高度兼容vLLM等推理框架，但是对分布式存储支持较低，空间上限低。 阿里巴巴提出一种将KV Cache空间扩展到Tair数据库的远端存储方案，存储空间易扩展，但是读写性能难以满足LLM推理业务的低延迟需 求。 CXL（Compute Express Link） 作为一种新兴的高速互联技术，以其高带宽、低延迟和硬件级缓存一致性的特性，为破解内存瓶颈带来了 新的希望，可以解决AI和高性能计算中遇到的内存瓶颈问题。 业界关于CXL存储加速LLM推理的研究仍然较少，探索如何利用CXL等新型介质扩展KV Cache空间，进而将成熟的软件栈迁移到CXL硬件场 景，是一项非常有意义的工作。 当大语言模型（LLM）走向千行百业，推理效率与显存成本的矛盾日益尖锐。 KV Cache （Key-Value Cache）作为提升生成速度的核心技术，却像一个 ...