一个「always」站在大模型技术C位的传奇男子

西风 衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 怎么老是你？？？ （How old are you） 这是最近网友不断对着 Transformer八子之一的Noam Shazeer （为方便阅读 ，我们称 他为沙哥） 发出的灵魂疑问。 尤其是最近Meta FAIR研究员朱泽园分享了他们《Physics of Language Models》项目的系列新进展后，有网友发现，其中提到的3-token 因果卷积相关内容，沙哥等又早在三年前就有相关研究。 是的，" 又 "。 因为你只要梳理一遍他的工作履历，就不难发现，AI界大大小小的突破背后，总是能发现他的名字。 "不是搞个人崇拜，但为什么总是Noam Shazeer？" △ 网友称右下角沙哥图由GPT-4o生成 朱泽园也自己也站出来表示，沙哥成果超前： 我也觉得Shazeer可能是个时间旅行者。 我原本不相信他们的gated MLP （在写第3.3部分的时候，因为门控多层感知机让训练不稳定） ，但现在我信服了 （在添加了Canon 层之后，我们在第4.1部分对比了多层感知机和门控多层感知机） 。 正式认识一下，沙哥是谁？ 他是 Transformer八 ...