时空压缩！剑桥大学提出注意力机制MTLA：推理加速5倍，显存减至1/8

在大语言模型蓬勃发展的背景下，Transformer 架构依然是不可替代的核心组件。尽管其自注意力机制存在计算复杂度为二次方的问题，成为众多研究试图突破的 重点，但 Transformer 在推理时灵活建模长距离上下文的能力，使得许多线性复杂度的替代方案（如 RNN、Linear Attention、SSM 等）难以真正取代它的地位。 尤其是在大语言模型广泛采用 decoder-only 架构之后，自注意力机制的重要性进一步凸显。然而，这种机制也带来新的挑战：推理过程中每一步都需要访问 Key- Value（KV）缓存，该缓存的大小随着生成序列长度线性增长，逐渐成为影响推理效率的关键瓶颈。随着模型参数维度不断扩大，KV 缓存所需的显存和带宽开销 显著上升，限制了模型的推理长度与可支持的 batch size。 值得一提的是，近期由 DeepSeek 团队提出的 MLA 机制，通过在隐空间维度对 KV 缓存进行压缩，显著提升了推理效率，推动了大模型在低资源场景下的高效部 署。但随着生成序列的持续增长，时间维度的冗余信息也逐渐暴露，压缩其所带来的潜力亟待挖掘。然而，如何在保持性能的前提下压缩时间维度，一直受到增 ...