允中 发自 凹非寺 量子位 | 公众号 QbitAI 全球AI基础设施快速演进的浪潮中，一个诞生自中国的开源项目，正在被世界看见。 它就是 KTransformers，由趋境科技与清华大学KVCache.AI团队联合研发，聚焦大模型推理阶段的系统创新。 这是一个高性能异构推理框架，专注于高效利用底层GPU、CPU、内存等多样化算力，让大模型在更低算力、更灵活的硬件架构上高效运 行，项目论文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》入选了刚刚落幕的 "计 算机系统领域奥斯卡" SOSP 2025 。 SOSP是计算机系统领域最具影响力的国际顶会之一。过去几十年间，从虚拟化到分布式文件系统，无数里程碑式的技术成果都曾首次亮相于 此。 如今，KTransformers也在这个舞台上获得了全球系统学术界的最高背书。 几乎在同一时间，KTransformers宣布与主流推理框架SGLang合作，双方架构合入同一分支。这次合作意味着全GPU推理与异构推理的融 合，推动大模型推理架构变得更 ...