懂了很多道理，AI 依然要发疯

最近一段时间，很多论文都在讨论Agent目前的困境。 困境是真实存在的。在应用层，目前Agent离开了像Skill这样人造拐棍后，在处理真实世界的长程任务时根本不可靠。 这种困境通常被归结为两个原因。 第一个是上下文的黑洞。正如前两天腾讯首席AI科学家姚顺雨带领混元团队做的CL Bench所指出的那样，模型或许根本没能力吃透复杂 上下文，所以也不可能按照指令好好办事。 第二个其实更致命，它叫长期规划的崩塌。就是说一旦规划的步长长了，模型就开始犯迷糊。就和喝多了一样，走两步是直的，走十步 就开始画圈。 Anthropic 的研究员们在1月末发布了一篇重磅论文《The Hot Mess of AI 》（AI 的一团乱麻），试图解释第二个问题的因由，结果他们发 现，这一试，给自回归模型（Transformer为基础的都是）清楚的找到了阿喀琉斯之踵。 我们都听说过Yann Lecun经常提的"自回归模型只做Next Token Prediction（下一个词预测），因此根本没法达到理解和AGI。" 但之前这都是个判断或者信仰，没有什么实证证据。这篇论文，就给出了一些实证证据。 而且它还预示了一个可怕的现实，即随着模型 ...