机器之心报道 编辑：陈陈、笑寒 线性循环模型（如 Mamba）和线性注意力机制都具备这样一个显著优势：它们能够处理极长的序列，这一能力对长上下文推理任务至关重要。 事实上，这正是它们相较于 Transformer 的关键优势 —— 后者受限于有限的上下文窗口，且在序列长度上的计算复杂度是二次的，成为性能瓶颈。 过去，循环模型面临的主要问题是性能不足：在处理短序列时，它们的表现往往不如 Transformer。然而，随着架构上的一系列突破，循环模型的性能已经显著提 升，在许多任务中已能与 Transformer 媲美，甚至已经被应用于多个工业场景中，如音频建模和代码补全等。 但近期的多项研究发现，循环模型仍存在一个 关键短板 ：尽管它们在训练长度范围内表现良好，但在处理超出训练长度的序列时，往往难以泛化，表现明显下 降。 当然不是！ 本文，来自 CMU、 Cartesia AI 的研究者证明了通过简单的训练干预，循环模型是完全可以实现长度泛化的。只需 500 步后训练（约占预训练预算的 0.1%），就 能让模型在高达 256k 长度的序列上实现泛化！ 因此，循环模型并不是存在根本性缺陷，而是拥有尚未被充分释放的 ...