作者 | 允毅 连马斯克、Andrej Karpathy 都纷纷点赞，DeepSeek 和 Kimi 前后脚都盯上的 "残差连接" ，到底是 什么？ 最近，Kimi 放出一篇重磅新论文，瞄准一个过去十年几乎没人动过的 Transformer 底层根基： 残差 连接（Residual Connection） 。残差连接由何恺明于 2015 年在 ResNet 论文中提出，此后便成为 深度学习领域的标配。 简单来说，可以把大模型的 Transformer 架构，想象成一支几十人排成长队的"传话小组"，那么残差 连接就像一条规定：每个工人听完前面所有人的话后，都往里面再补一句，然后原封不动往后传。 这套规则长这样： 但这会带来一个麻烦：队尾的工人收到的话，是前面几十个工人的内容全堆在一起的，越往后话越 乱、越长，前面工人说的重点被埋住了，后面工人加的内容也没人听得清，AI 就变笨了。这叫"稀释 问题"。 于是，Kimi 想到把 "注意力机制" 引进来解决这一问题，它提出一个新的规则： "注意力残 差"（Attention Residuals） 。如同给工人们配备了"智能筛选器"，不用再全盘收下前面堆出来的大 杂烩， ...