AI大牛张祥雨：Transformer撑不起Agent时代

人脑是"无限流"压缩大师，大模型靠堆层数无法学会人类记忆，到8万Token就不可用了。 "但是很快我们发现了一个巨大的副作用。"张祥雨说，真正的难点是模型的智商会随着文本变化快速下降。"今天的Transformer，不管号称发布出来说支持 到多少Token，基本上到8万个就不可用了。" 这个问题指向了Transformer的一个缺陷，就是它的单向信息流设计。无论输入序列（Context）多长，模型的有效"思考深度"的信息只能从浅层向深层单向 传递，缺乏从深层向浅层的反馈与压缩机制，这与人类大脑"无限流"的记忆机制存在本质差异。 "我今天讲过的每一句话，都是历史上我见过的所有信息的函数。"张祥雨用比喻阐明，"这个函数能用层数固定的网络来表示吗？肯定不可以。"他说人类大 脑能够对从小到大的海量经历进行动态压缩和选择性回溯，而当前Transformer结构无法实现这种类似"无限流"世界的智能处理需求，这制约了AI向具备高度 自主性、能长期持续学习的通用Agent演进。 事实上，当前已经开始有研究者讨论Transformer是否存在根本局限性。就在今年10月，Transformer 架构的共同创造者Llion Jon ...