机器之心编译 原文作者：Albert Gu 编辑：陈陈、杜伟 「Tokenization（分词）是 Transformer 模型为弥补自身缺陷不得不戴上的枷锁。」 近日，Mamba 作者、CMU 助理教授、Cartesia AI 首席科学家 Albert Gu 撰写了一篇新博客，探讨了状态空间模型（SSM）和 Transformer 之间的权衡，并提出了这 样一种观点。 这篇博客改编自 Albert Gu 过去一年来多次进行的一场演讲。虽然演讲内容通俗易懂，面向比较广泛的受众群体，但其中的一些有趣的见解、观点和原理阐释，相 信对专业研究者也不乏启发价值。 在社交媒体 X 上，Albert Gu 抛出了「tokens are bullshit」的观点，并预告了接下来要发布的重大架构进展。 图源： https://x.com/_albertgu/status/1942615020111876248 评论区的很多网友赞成 Albert Gu 的观点，认为移除 tokenization 会在计算效率方面带来积极影响。 状态空间模型 本文首先定义了什么是状态空间模型（State Space Model，SSM）。 1. ...

机器之心报道 编辑：陈陈、笑寒 线性循环模型（如 Mamba）和线性注意力机制都具备这样一个显著优势：它们能够处理极长的序列，这一能力对长上下文推理任务至关重要。 事实上，这正是它们相较于 Transformer 的关键优势 —— 后者受限于有限的上下文窗口，且在序列长度上的计算复杂度是二次的，成为性能瓶颈。 过去，循环模型面临的主要问题是性能不足：在处理短序列时，它们的表现往往不如 Transformer。然而，随着架构上的一系列突破，循环模型的性能已经显著提 升，在许多任务中已能与 Transformer 媲美，甚至已经被应用于多个工业场景中，如音频建模和代码补全等。 但近期的多项研究发现，循环模型仍存在一个 关键短板 ：尽管它们在训练长度范围内表现良好，但在处理超出训练长度的序列时，往往难以泛化，表现明显下 降。 当然不是！ 本文，来自 CMU、 Cartesia AI 的研究者证明了通过简单的训练干预，循环模型是完全可以实现长度泛化的。只需 500 步后训练（约占预训练预算的 0.1%），就 能让模型在高达 256k 长度的序列上实现泛化！ 因此，循环模型并不是存在根本性缺陷，而是拥有尚未被充分释放的 ...