特伦斯·谢诺夫斯基 《大语言模型》作者 摘自新书《大语言模型》 2018年，我曾在《深度学习》一书中，讲述了人工智能从逻辑运算模型向类脑计算模型转变的历程。回 想20世纪80年代深度学习算法刚被发明时，计算机性能仅及今日的百万分之一。那时的我们无法预知， 当这些算法随着规模扩大和数据增加会具备怎样的能力。 到21世纪10年代，深度学习在图像识别、语音识别和语言翻译等人工智能经典难题上取得的突破令人震 撼。更让人惊叹的是深度学习与强化学习的完美结合。从1992年TD-Gammon在双陆棋比赛中达到顶尖 水平，到2017年AlphaGo击败围棋世界冠军，这一系列成就不禁让我们思考：当人工智能开始在人类擅 长的领域胜出时，这将给我们的未来带来什么样的影响？ 自从OpenAI于2022年11月推出ChatGPT以来，大语言模型的突飞猛进让世界再次震惊。人们对它的反应 可谓喜忧参半：一方面为它能快速生成流畅文本而着迷，另一方面又担忧它对就业前景和未来发展的影 响。 语言作为人类最根本的能力，一直是我们判断智力水平的关键标准。如今，人工智能的快速发展引发了 一些人对超级智能突破的担忧，认为这可能危及人类的生存。比尔·盖茨 ...

Core Viewpoint - Google recently announced that its DeepMind team won an IMO gold medal, but shortly after, three key team members were reported to have left for Meta, highlighting a talent drain in the AI sector [1][19]. Group 1: Key Personnel Changes - Three critical figures involved in the training of the Gemini model, Du Yu, Tianhe Yu, and Wang Weiyue, have left Google for Meta [2][3]. - Du Yu has been a significant contributor to the Gemini series models and has worked on Google's conversational AI products [9]. - Tianhe Yu, a research scientist at Google DeepMind, was responsible for the reinforcement learning and training of Gemini, playing a key role in the release of Gemini 2.5 [10]. - Wang Weiyue, a principal research engineer at Google DeepMind, contributed to Gemini 2.5 Pro and has a background in computer vision [13][14]. Group 2: Competitive Landscape - Mark Zuckerberg's recruitment of talent from Google is part of a broader trend, as Microsoft has also been reported to have poached over 20 talents from Google DeepMind [19]. - Amar Subramanya, the former engineering lead for Gemini, has joined Microsoft AI as a vice president, indicating a shift in talent dynamics within the AI industry [19]. - The talent acquisition efforts by Microsoft have been ongoing for six months, led by Mustafa Suleyman, a co-founder of DeepMind, adding a layer of complexity to the competitive landscape [21].

IT之家 7 月 17 日消息，微软 AI 部门 CEO 穆斯塔法・苏莱曼上周（7 月 11 日）出席了《CatGPT》播客，畅聊 AI 的多个话题，其中他在谷歌 DeepMind 时 错过的机会引人注目。 他表示："因为无法发布 LaMDA，所以我在谷歌的时候感觉非常沮丧。LaMDA 实际上就是'ChatGPT 推出之前的 ChatGPT'。它是第一个能真正进行对话的 大语言模型，表现极其出色。谷歌内部几乎所有人都试用过它，也都见识过它的能力"。 但苏莱曼表示，当时谷歌内部有很严重的意见分歧："大概一半的人都非常怀疑，觉得这个东西不怎么安全。它总会产生'幻觉'（生成虚假内容），而且如 果推出的话肯定会破坏谷歌现有的搜索服务，肯定会存在各种安全隐患"。 播客中，他特别提到了在谷歌 DeepMind 任职期间（2010-2022）的一段经历 —— 在离职并创立 Inflection AI 前曾主导开发谷歌内部的大语言模型 LaMDA，但无疾而终。 尽管如此，当时谷歌还有一群人认为该产品潜力巨大，甚至预见它将成为搜索引擎的未来。 苏莱曼接着表示，他在谷歌时真的很想把它发布出来，但行不通。谷歌就是无法理解这个产品的 ...

Core Viewpoint - The U.S. Department of Justice (DOJ) is investigating Google's technology transactions with Character.AI to determine potential antitrust violations, highlighting ongoing scrutiny of major tech companies like Google [1][2]. Group 1: Investigation and Background - The DOJ's investigation into Google is part of a broader focus on antitrust issues, with previous lawsuits against Google for monopolistic practices in search engines and advertising [1]. - Character.AI, founded in November 2021 by former Google AI team members, has gained significant attention in the AI sector, particularly after the launch of OpenAI's ChatGPT [2][3]. Group 2: Character.AI's Growth and Challenges - Character.AI's user engagement surged from 18 million visits in December 2022 to 500 million by March 2023, a 27-fold increase, following the rise of generative AI [3][4]. - Despite its popularity, Character.AI faces financial challenges, having raised $150 million in Series A funding but still requiring additional capital to sustain its operations [5]. Group 3: Google's Investment and Talent Acquisition - In August 2024, Google invested $2.7 billion in Character.AI, allowing it to use the company's language model technology while facilitating the movement of key personnel back to Google [5][6]. - The arrangement is viewed as a form of indirect acquisition, raising concerns about the potential decline in Character.AI's innovation and operational capacity due to the loss of its founding team [6][7]. Group 4: Implications of Talent Acquisition - The talent acquisition model used by Google may circumvent traditional antitrust scrutiny, as it does not involve outright acquisition but rather a strategic partnership [7][8]. - This approach reflects a trend among tech giants to secure talent and technology from startups without triggering regulatory challenges associated with mergers and acquisitions [9][10]. Group 5: Regulatory Considerations - The DOJ's investigation into Google's actions may not lead to direct legal action due to the complexities of current antitrust laws regarding talent acquisition [20]. - There is a call for regulatory updates to address the nuances of talent acquisition deals, ensuring they do not undermine competition or innovation in the tech industry [21][23].

西风 衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 怎么老是你？？？ （How old are you） 这是最近网友不断对着 Transformer八子之一的Noam Shazeer （为方便阅读 ，我们称 他为沙哥） 发出的灵魂疑问。 尤其是最近Meta FAIR研究员朱泽园分享了他们《Physics of Language Models》项目的系列新进展后，有网友发现，其中提到的3-token 因果卷积相关内容，沙哥等又早在三年前就有相关研究。 是的，" 又 "。 因为你只要梳理一遍他的工作履历，就不难发现，AI界大大小小的突破背后，总是能发现他的名字。 "不是搞个人崇拜，但为什么总是Noam Shazeer？" △ 网友称右下角沙哥图由GPT-4o生成 朱泽园也自己也站出来表示，沙哥成果超前： 我也觉得Shazeer可能是个时间旅行者。 我原本不相信他们的gated MLP （在写第3.3部分的时候，因为门控多层感知机让训练不稳定） ，但现在我信服了 （在添加了Canon 层之后，我们在第4.1部分对比了多层感知机和门控多层感知机） 。 正式认识一下，沙哥是谁？ 他是 Transformer八 ...

一日为谄媚者， 终身为谄媚者 作者｜冬梅、核子可乐 近日，OpenAI 在其官网发文称已回滚上周 ChatGPT 中的 GPT-4o 更新，目前用户使用的是行为更加平衡的早期版本。Altam 也在 X 上发帖说明了这一 调整。 为什会做这样的调整？因为最近不少用户发现 ChatGPT 越来越"谄媚"。 随着用户对于 ChatGPT "谄媚"行为的讨论越来越多，前微软高管、现 Spotify 首席技术官 Mikhail Parakhin 也发表了他对此事的看法。 Parakhin 认为，ChatGPT 并非一开始就以奉承用户为默认风格，不过由于用户对直接的人格反馈表现出强烈反感，OpenAI 决定调整聊天机器人，让其 更讨好用户。 Parakhin 表示："ChatGPT 的记忆功能首次推出时，初衷是让用户查看和编辑 AI 生成的个人资料。然而，即使是像"有自恋倾向"这样相对中性的表述， 也常常引发强烈反应。" "很快就发现人们敏感得可笑：'有自恋倾向'——'不，我没有！'，不得不隐藏它。因此才有了这批极度谄媚的 RLHF，"Parakhin 说道。 RLHF（基于人类反馈的强化学习）用于根据人们偏好的回应方式 ...