ICML 2025 | 千倍长度泛化！蚂蚁新注意力机制GCA实现16M长上下文精准理解

该工作第一作者为蚂蚁技术研究院副研究员胡翔，蚂蚁技术研究院高级研究员武威为通讯作者。 在大语言模型如火如荼的当下，长文本建模仍然是一个极具挑战的问题。纠其根源，一方面在于主流 LLMs 的架构 Transformers 中平方复杂度及随序列长度线性增 长的推理阶段显存开销；另一方面在于 full-attention 有限的外推能力，难以泛化到远超预训练阶段长度的输入。 而高效处理长上下文能力，除了简单的工业界降本增效的需求外，还涉及通用人工智能 (AGI) 的核心问题：具有永久记忆的智能体。如果将人类从出生开始接收 到的信息视作长上下文，人类拥有记忆无非是访问这些上下文。因此记忆可以看作是超长上下文访问能力，而拥有与用户所有对话记忆的智能体，很可能为大语 言模型公司构建数据护城河 (事实上，OpenAI 已经开放了类似能力)。 近日，蚂蚁的研究团队为这个问题带来了一个新思路。就像人类开卷考试只会挑和当前问题相关的关键页作为参考，语言模型也可以只关注与当前上下文相关的 过去片段。以此为出发点，他们提出一种 基于因果检索的注意力机制 GCA (Grouped Cross Attention)，完全端到端地学习如何 ...