本文共同一作是张翔和曹峻泰。张翔是英属哥伦比亚大学研究生，主要研究兴趣集中在大模型推理和 AI for Science；曹峻泰是英属哥伦比亚大学研究生， 主要研究兴趣集中在大模型推理和可解释性研究；本文通讯作者是来自纽约大学石溪分校的助理教授尤晨羽，以及来自 Meta Gen AI 的研究员丁渡鉴。 近年来，大型语言模型（LLM）在自然语言处理领域取得了革命性进展。然而，其底层的 Transformer 架构在处理复杂推理任务时仍有不足。尽管「思维 链」（CoT）提示技术提供了一条实用路径，但多数方法依赖通用指令，导致提示工程高度依赖反复试验，缺乏理论指导。 图 1 ：Prompt 模板深刻影响着答案空间的配置和导航方式。左侧展示了不同的 Prompt（如 Auto-Prompt、RL-Prompt）如何在「Prompt 空间」中进行搜索，而右侧则展示了在特定 Prompt 指导下，如何在「答案空间」中进行搜索以得到解决方案（如 Tree-of-Thought、Graph-of-Thought）。 来自英属哥伦比亚大学、纽约大学石溪分校和浙江大学的研究团队深入剖析了 Prompt 如何在 LLM 的 CoT ...

Core Insights - The article discusses innovative strategies to better understand and control the reasoning processes of large language models (LLMs) through mechanical analysis and behavioral assessment [1][9]. Group 1: Mechanical Analysis and Attribution - Researchers are breaking down the internal computations of models, attributing specific decisions to particular components such as circuits, neurons, and attention heads [1]. - A promising idea is to combine circuit-level interpretability with chain-of-thought (CoT) verification, using causal tracing methods to check if specific parts of the model are activated during reasoning steps [2]. Group 2: Behavioral Assessment and Constraints - There is a growing interest in developing better fidelity metrics for reasoning, focusing on whether the model's reasoning steps are genuinely contributing to the final answer [3]. - The concept of using auxiliary models for automated CoT evaluation is gaining traction, where a verification model assesses if the answer follows logically from the reasoning provided [4]. Group 3: AI-Assisted Interpretability - Researchers are exploring the use of smaller models as probes to help explain the activations of larger models, potentially leading to a better understanding of complex circuits [5]. - Cross-architecture interpretability is being discussed, aiming to identify similar reasoning circuits in visual and multimodal models [6]. Group 4: Interventions and Model Editing - A promising methodology involves circuit-based interventions, where researchers can modify or disable certain attention heads to observe changes in model behavior [7]. - Future evaluations may include fidelity metrics as standard benchmarks, assessing how well models adhere to known necessary facts during reasoning [7]. Group 5: Architectural Innovations - Researchers are considering architectural changes to enhance interpretability, such as building models with inherently decoupled representations [8]. - There is a shift towards evaluating models in adversarial contexts to better understand their reasoning processes and identify weaknesses [8]. Group 6: Collaborative Efforts and Future Directions - The article highlights significant advancements in interpretability research over the past few years, with collaborations forming across organizations to tackle these challenges [10]. - The goal is to ensure that as more powerful AI systems emerge, there is a clearer understanding of their operational mechanisms [10].

来源丨 腾讯科技（ID：qqtech） 被誉为"AI教父"的杰弗里·辛顿 于 近日接受了调查记者盖昂·埃斯皮纳的远程专访。 他称，AI正在以前所未有的速度演化： 变得更聪明、更少犯错，甚至具备了情感和意识。 他警告， AI不仅可能具备喜怒哀乐等情绪，还已经学会了欺骗。 辛顿大胆预测， AI完全失控的概率在10%到 20%之间，人类未来可能被AI所掌控。 辛顿因在机器学习和神经网络领域的开创性贡献，于2024年荣获诺贝尔物理学奖。他曾在谷歌担任 AI研究负责人长达十年 ，并 于2023年选择离开 。这样，他可以 更坦率地表达对AI潜在风险的深切 担忧。 过去那些只存在于反乌托邦科幻小说中的问题—— "AI会取代人类吗？"、"它会觉醒吗？"、"会反抗 人类吗？" ——如今正逐渐成为现实世界的核心议题，全球社会正在被迫直面这些重大挑战。 问： 当你说"AI更擅长推理"时，具体指的是什么？ 辛顿： 过去，只要问题稍微复杂一点，AI就容易出错。但现在，AI在推理上的表现已经接近人类。虽 然人类和AI都会犯错，但AI犯错的概率正在迅速下降。 辛顿的言论再次发出警示： AI不仅仅是技术革命，更是深刻的伦理与社会变革。 未来 ...

作者 | Benjamin 译者 | 王强 策划 | 褚杏娟 "将语言投射回思想模型时，我们忽视了支撑我们智能的不言而喻的具身认知。" 首先，虽然奥赛罗的移动可被证明用于推断奥赛罗棋盘的完整状态， 但我们没有理由相信有办法通 过语言描述推断出物理世界的完整画面 。将奥赛罗游戏与物理世界的许多任务区分开来的是， 奥赛 罗本质上位于符号领域，只是使用物理标记来实现，以便于人类玩耍 。一个完整的奥赛罗游戏可以 用纸和笔进行，但人们不能用纸和笔扫地、洗碗或开车。要解决这些任务，你需要超越人类用语言描 述的物理世界概念。这种描述世界的概念是否编码进了正式的世界模型中，或者例如编码进了一个价 值函数，还有待讨论， 但很明显，物理世界中有许多问题不能完全由符号系统表示并用纯粹的符号 操作解决 。 最近生成式人工智能模型的成功让一些人相信人工通用智能（AGI）即将到来。虽然这些模型似乎捕 捉到了人类智能的本质，但它们甚至违背了我们对智能最基本的直觉。它们之所以出现，并非因为它 们是解决智能问题的深思熟虑的解决方案，而是因为它们在我们已有的硬件上有效地扩展了规模。一 些人沉浸在规模扩展的成果中，开始相信这提供了通往 AGI 的 ...

01. 创业一年后，李飞飞如何阐述 World Labs 的愿景？ 成立一年的World Labs 发布过什么进展？World Labs 的愿景有变化吗？空间智能终于有望解锁了？... 02 . 为什么没有空间智能的 AI 是不完整的？ 本文来自PRO会员通讯内容，文末关注「机器之心PRO会员」，查看更多专题解读。 在近期由 a16z 普通合伙人 Erik Torenberg 主持的一场访谈中，李飞飞和 World Labs 早期投资者 Martin Casado 围绕「世界模型」和「空间智能」的话题探讨了她对 AI 技术的理解，并在创业 项目 启动一年后重新 介绍了 World Labs 的任务和愿景。 目录 2、李飞飞指出当前语言模型在描述和理解三维物理世界方面存在明显的局限性，空间智能则超越语言模型成 为智能的关键组件，是世界模型理解、重建和生成物理世界的核心能力。 ① 语言虽然是思想和信息的强大编码，但对 3D 物理世界而言是「有损的编码方式」，无法有效描述和操作三 维空间。而空间智能代表着更为古老和根本的智能形式，是 AI 的关键组成部分。 3、在这一认知框架下，World Labs 试图构建能理解 ...

如果大型语言模型能够推理，但没有人能够看到它是如何推理的，那么它真的在思考吗？ 简而言之，像 GPT-4 这样的大型语言模型 (LLM) 展现出卓越的能力，但其运作方式却如同"黑匣子"， 这意味着它们的内部决策过程在很大程度上是不透明的，甚至对其创建者而言也是如此。本 系列文章 综合了近期关于 LLM 可解释性的研究，重点关注这些模型的推理方式、其解释的可靠性（思维链）以 及对安全性和部署的影响。 综合基础研究和最新进展，理解基于 Transformer 的架构中的突发行为和对齐效应。 "没有人真正知道人工智能为何有效"——这一惊人言论抓住了现代人工智能核心的黑箱问题。 如今，像 GPT-4 或 Claude 这样的大型语言模型 (LLM)可以编写代码、通过 测试 并进行复杂的推理，但 即使是它们的创造者也难以解释它们是 如何 得出输出结果的。正如一位人工智能科学家所说："我们构 建了它，训练了它，但我们不知道它在做什么"。 本文 探讨了近期试图揭示这些黑匣子的研究，重点关 注 推理模型 以及模型内部思维过程与其给出的解释之间经常观察到的脱节。通过综合基础论文和 2023-2025 年关于可解释性、涌现性、思 ...

传统搜索基于链接构建，而GEO的核心是语言。 图片来源： a16z Z Highlights 本文作者 Zach Cohen 和 Seema Amble 是 a16z 的合伙人。 Zach Cohen 专注于企业软件和人工智能领域的投资，特别是生成式 AI 、机器学习基础设施和开发者工 具。 Seema Amble 专注于全球软件即服务（ SaaS ）和金融科技领域的投资，特别是 B2B 金融科技、支付和垂直行业软件。这篇文章是 Zach Cohen 与 Seema Amble 共同参与的关于生成式搜索技术颠覆传统 SEO 生态的研究，于 2025 年 5 月 28 日发布在 a16z 官网。 我们熟知的搜索时代已近尾声，而营销人员对这一变革的感受颇为复杂。 二十余年来，搜索引擎优化（SEO）始终是网络曝光的核心策略。这一领域催生出完整的产业生态，涵盖关键词堆砌者、反向链接中介、内容优化师、审计 工具及运营这些环节的专业机构。但在2025年，搜索行为正从传统浏览器向大型语言模型（LLM）平台迁移。随着苹果宣布将Perplexity、Claude等原生AI 搜索引擎集成至Safari，谷歌的流量分发垄断地位受到 ...

RaML团队 投稿 量子位 | 公众号 QbitAI 近年来，大语言模型（LLM）以其卓越的文本生成和逻辑推理能力，深刻改变了我们与技术的互动方式。然而，这些令人瞩目的表现背后， LLM的内部机制却像一个神秘的"黑箱"，让人难以捉摸其决策过程。 上海AI Lab的研究团队的近期提出Reasoning as Meta-Learning（RaML)，尝试从 梯度下降 和 元学习 （Meta-Learning）的角度，揭示 了LLM如何"思考"，并为优化其性能提供了新思路。 RaML的核心洞察：推理即"梯度下降" RaML框架的核心在于一个直观的类比：LLM在解决问题时生成的"推理轨迹"（即一步步推导的过程），就像模型参数在优化过程中的"伪梯度 下降"更新。 这意味着，当LLM进行多步推理时，其内部状态（即模型参数）会像典型的参数优化过程一样，逐步地"调整"和"适应"，每一步都朝着更优的 解决方案逼近，直到得出最终的答案 。 研究团队通过理论推导发现，在Transformer模型中，每个推理轨迹的令牌都可以看作对参数的一次 "隐式更新" 。考虑典型的transformer块 的计算过程，当输入中增加一个推理轨迹令牌 ...

机器之心报道 编辑：张倩、泽南 为什么语言模型很成功，视频模型还是那么弱？ 「我一直很困惑，语言模型怎么能从下一个 token 预测中学到这么多，而视频模型从下一帧预测中学到的却那么少？难道是因为大模型（LLM）其实是伪装的大脑 扫描仪？」 近日，加州大学伯克利分校副教授、强化学习大牛 Sergey Levine 发出了一记灵魂拷问。 由此进一步思索，我们目前探索 AGI 的方向，是否也到了需要调整的阶段了？ AI 技术在快速发展，人们对于 AI 能力的上限，以及人脑和电脑异同的思考也越来越深入。上周末， OpenAI 联合创始人 Ilya Sutskever 在演讲中就曾提到：既然大 脑是台生物计算机，那么数字计算机应该也能做所有同样的事。 然而在学术界，也有很多人持不同态度，Sergey Levine 就是一位这样的学者。 他在昨日发布的一篇博客中表示， 当前的大语言模型（LLM）只是对人类大脑和思维的间接「扫描」。这些模型如同被困在洞穴之中，只能看到人类智慧的「投 影」，并试图通过这些「投影」来逆向推导出产生它们的思维过程。这种「逆向工程」并不能代替真正的思维 。 他的观点在机器学习社区获得了不少认同。 ...

鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 大模型目前的主导地位只是暂时的，在未来五年甚至十年内都不会是技术前沿。 这是新晋图灵奖得主、强化学习之父Richard Sutton对未来的最新预测。 就在刚刚的新加坡国立大学建校120周年 （NUS120） 之际，Sutton受邀发表演讲——塑造AI和强化学习的未来。 其实，这已经不是Sutton第一次在公开场合表达类似的观点，早在他19年的著作《痛苦的教训》中，他就明确提出： 让AI尤其是LLM模仿人类思维方式，只能带来短期的性能提升，长期看只会阻碍研究的持续进步。 在他4月份新发表的论文《欢迎来到体验时代》也再度强调了这点，同时他表示，扩展计算才是正解。 本次NUS120演讲长达一个多小时，可谓是干货满满、信息量超大。 让我们一起来看看完整演讲内容。 LLM主导是暂时的 Sutton首先提及当前人类处于数据时代，像ChatGPT这类大语言模型，都是靠分析人类产生的大量数据 （如文本、图像、视频） 进行训 练。 但始终追逐人类思维方式，至多也只能达到 "人类水平" 。 在数学、科学等领域，人类数据里的知识已经接近极限，AI难以突破现有认知，纯靠模仿已经 ...