选自 作者：Nando de Freitas 机器之心编译 别人都在用 X 发帖子，分享新鲜事物，微软副总裁 Nando de Freitas 却有自己的想法：他要在 X 上「开课」，发布一些关于人工智能教育的帖子。该系列会从 LLM 的强化学习开始，然后逐步讲解扩散、流匹配，以及看看这些技术接下来会如何发展。 话说回来，Freitas 有这个想法时还是 4 月 24 日，到今天为止，他已经更新了多篇帖子，每篇都干货满满。 由于涉及的内容需要费点脑细胞来思考，在更新了几篇后，Freitas 抱怨道：「随着数学知识的增多，自己 X 上的读者人数正在下降。」 | (5 17 16 ♡ 112 | | --- | | III 16K | | 3 | 或许，太硬核的东西，浏览量确实不会太高。 不过，遗憾归遗憾，这些帖子对于那些想学习 RL、从事大模型的人非常有帮助。 Freitas 也表示，他会不断更新内容，感兴趣的读者可以随时关注。 接下来，我们看看最近几篇帖子内容。 无监督学习、监督学习、强化学习终极定论尚未形成 监督学习 对应于最基础的模仿形式：简单的行为复制。它通过最大似然估计，将世界状态（如文本问题）映射到 ...

| Claude | | Claude | Claude | OpenAl o3 | OpenAl | Gemini 2.5 Pro | | --- | --- | --- | --- | --- | --- | --- | | Opus 4 | | Sonnet 4 | Sonnet 3.7 | | GPT-4.1 | Preview (05-06) | | Agentic coding | 72.5% / | 72.7%/ | 62.3% / | 69.1% | 54.6% | | | SWE-bench Verified15 | 79.4% | 80.2% | 70.3% | | | 63.2% | | Agentic terminal coding | 43.2% / | 35.5% / | 35.2% | 30.2% | 30.3% | 25.3% | | Terminal-bench2.8 | 50.0% | 41.3% | | | | | | Graduate-level reasoning | 79.6% / | 75.4%/ | 78.2% | 83.3% | 66.3% | 83.0% | ...

与市面上多数"通用Agent"不同，OpenAI 的 Deep Research 从诞生那一刻起就被锁定在一件事上—— 通过强化 学习，将搜索、浏览、筛选与整合信息的能力内化为模型的原生技能，直接训练进参数里，而不是仅靠 Prompt工程和外部工程组合 。 那么，OpenAI 是如何把这套复杂技能训练进参数里的？他们在数据筹备、强化微调、安全与记忆管理上又摸 索出了哪些最佳实践？ OpenAI Deep Research团队核心成员Isa Fulford最近在一个访谈中做了分享： 我们认为这个访谈提供了一个透视 OpenAI 构建旗舰智能体 Deep Research 的独特视角，并提供了一些开发实 践经验，因此锦秋基金（ 微信公号锦秋集ID：jqcapital）对本文进行了编译。 01 Deep Research 的起源与目标 OpenAI 团队在强化学习算法刚刚显露锋芒时，放弃了订汉堡、订花那条看似容易衡量的交易型赛道， 转而攻克浏览与知识整合——他们认为整合知识是AGI 必不可少的前置技能， 也因为"纯读取"比"直接 下单"更安全。 数据的质量比数量更重要。 Deep Research 倾向"小而准"： ...

关税让百事可乐更难做了。 可乐的生产依赖浓缩液、水、甜味剂。为了交更少的税，百事可乐从 50 多年前开始在企业税率更 低的爱尔兰生产浓缩液——几乎所有在美国销售的百事可乐浓缩液都来自爱尔兰，现在百事要为此 缴纳 10% 的进口关税。可口可乐也在爱尔兰生产浓缩液，但其在美国本土销售的汽水，大部分浓 缩液来自美国亚特兰大以及领土波多黎各，这也意味着可口可乐受关税影响更少。 两家企业还受到美国对进口铝征收 25% 关税的影响。可口可乐 CEO 詹姆斯·昆西 (James Quincey) 此前表示，可口可乐从加拿大进口了一些铝，关税可能会导致可乐价格上涨，公司可通过增加塑料 瓶装饮料或从美国采购铝来缓解。 OpenAI 的最强模型幻觉更严重。 OpenAI 上周发布 o3、o4-mini 两款推理模型，凭借图像推理等能力引发关注。OpenAI 最早介绍 o3 的时候，还特意强调其在高难度编程能力测试中达到 Top 200 人类程序员的水平。但许多使用者发 现，这两款模型幻觉更严重。他们决定继续使用 o1 Pro 或 Gemini 2.5 等模型。 非营利机构 Transluce 测试发现，o3 经常会幻想自己用了某 ...

有评论称这篇文章是 「 Bitter Lesson」级别的存在，或许是因为和 「 Bitter Lesson」类似，这篇文章也试图从 high level 指出 AI 研究中一种思维范 式的彻底改变。 「 Bitter Lesson 」启发了大家从 「 人类指导 AI」转向算力和数据的 scaling，而 The Second Half 告诉大家 在 RL 全面到来时，我 们应该彻底重新思考问题定义和真实用例的 evaluation。 姚顺雨本科毕业于清华姚班，是姚班联席会主席，2024 年从 Princeton 博士毕业后加入 OpenAI 担任 Research Scientist，参与了 OpenAI 的 Computer-Using Agent，Deep Research 等多个产品项目。他是 Agent 领域的最前沿探索者，这个领域不少最重要的 framework 和 benchmark 都来自 他 Phd 期间的工作：ReAct、Tree of Thought、SWE_Bench。 这篇博客主要内容来自姚顺雨在 CS 224N 和 Columbia 大学所做的演讲。 Founder Park 正在 ...

吴翼： RL 是机器学习这个大概念下一类比较特殊的问题。 曲凯： 今天我们请来了国内强化学习 (RL) 领域的专家吴翼，吴翼目前是清华大学交叉信息研究院 助理教授，他曾经在 OpenAI 工作过，算是国内最早研究强化学习的人之一，我们今天就争取一 起把 RL 这个话题给大家聊透。 首先吴翼能不能简单解释一下，到底什么是 RL？ 传统机器学习的本质是记住大量标注过正确答案的数据对。 举个例子，如果你想让机器学习能分辨一张图片是猫还是狗，就要先收集 10000 张猫的照片和 10000 张狗的照片，并且给每一张都做好标注，让模型背下来。 上一波人工智能四小龙的浪潮其实都以这套框架为基础，主要应用就是人脸识别、指纹识别、图 像识别等分类问题。 这类问题有两个特点，一是单一步骤，比如只要完成图片分辨就结束了；二是有明确的标准答 案。 但 RL 很不一样。 RL 最早是用来打游戏的，而游戏的特点和分类问题有两大区别。 第一，游戏过程中有非常多的动作和决策。比如我们玩一个打乒乓球的游戏，发球、接球、回 球，每一个动作都是非标的，而且不同的选择会直接影响最终的结果。 第二，赢得一场游戏的方式可能有上万种，并没有唯一的标准答 ...

曲凯： 今天我们请来了国内强化学习 (RL) 领域的专家吴翼，吴翼目前是清华大学交叉信息研究院助理教 授，他曾经在 OpenAI 工作过，算是国内最早研究强化学习的人之一，我们今天就争取一起把 RL 这个话题 给大家聊透。 举个例子，如果你想让机器学习能分辨一张图片是猫还是狗，就要先收集 10000 张猫的照片和 10000 张狗 的照片，并且给每一张都做好标注，让模型背下来。 首先吴翼能不能简单解释一下，到底什么是 RL？ 上一波人工智能四小龙的浪潮其实都以这套框架为基础，主要应用就是人脸识别、指纹识别、图像识别等 分类问题。 吴翼： RL 是机器学习这个大概念下一类比较特殊的问题。 传统机器学习的本质是记住大量标注过正确答案的数据对。 所以我觉得人生有一个很好玩的地方是，你需要花很多时间先探索自己的奖励函数是什么，很多人可能努 力了很长时间，最后却发现找错了奖励函数。 这类问题有两个特点，一是单一步骤，比如只要完成图片分辨就结束了；二是有明确的标准答案。 但 RL 很不一样。 RL 最早是用来打游戏的，而游戏的特点和分类问题有两大区别。 第一，游戏过程中有非常多的动作和决策。比如我们玩一个打乒乓球的游戏， ...

曲凯： 今天我们请来了国内强化学习 (RL) 领域的专家吴翼，吴翼目前是清华大学交叉信息研究院助理教授，他曾经在 OpenAI 工作过，算是国内最早研究强化学 习的人之一，我们今天就争取一起把 RL 这个话题给大家聊透。 首先吴翼能不能简单解释一下，到底什么是 RL？ 因此，RL 其实更通用一些，它的逻辑和我们在真实生活中解决问题的逻辑非常接近。比如我要去美国出差，只要最后能顺利往返，中间怎么去机场、选什么航 司、具体坐哪个航班都是开放的。 但 RL 很不一样。 RL 最早是用来打游戏的，而游戏的特点和分类问题有两大区别。 第一，游戏过程中有非常多的动作和决策。比如我们玩一个打乒乓球的游戏，发球、接球、回球，每一个动作都是非标的，而且不同的选择会直接影响最终的结 果。 第二，赢得一场游戏的方式可能有上万种，并没有唯一的标准答案。 所以 RL 是一套用于解决多步决策问题的算法框架。它要解决的问题没有标准答案，每一步的具体决策也不受约束，但当完成所有决策后，会有一个反馈机制来评 判它最终做得好还是不好。 吴翼： RL 是机器学习这个大概念下一类比较特殊的问题。 传统机器学习的本质是记住大量标注过正确答案的数据对。 ...