「知其然，亦知其所以然。」 文章验证了三个核心发现： 1. 规模带来增益：随着模型变大、计算力增强，RM-R1 的推理链训练方法效果越好，性能几乎线性提升； 这句儒家命题强调，真正的理解不仅在于结果，更在于推理过程。如今，在大型语言模型的后训练阶段，奖励模型承担着桥接模型行为与人类价值的重要职 责；但现有模型往往只给出一个分数，却难以解释其依据。缺乏推理的奖励，就如「知其然而不知其所以然」，既难以建立信任，也难以指导更优的学习。 伊利诺伊大学香槟分校的研究团队提出了 RM-R1 框架，将奖励建模重新定义为推理任务，提出了推理奖励模型（Reasoning Reward Models, ReasRMs）。RM-R1 关注于如何通过整合推理能力来增强奖励模型，使其能够更准确地对模型输出进行评估和打分，从而更好地与人类偏好对齐。RM- R1 通过生成结构化的评估标准和推理过程，提升了奖励模型的可解释性和性能。 2. 简单套用旧 RL 策略行不通：想让模型「会推理」，得精准划分问题类型、并对推理过程进行定向蒸馏训练，才能带来真正泛化的提升； 3. 推理比直接输出答案更通用：相比传统的直接监督，RM-R1 的推理能力更稳 ...

明敏 克雷西 发自 凹非寺 量子位 | 公众号 QbitAI 好家伙，AI意外生成的内核（kernel），性能比人类专家专门优化过的还要好！ 斯坦福最近披露了一组新发现，结果真的太亮眼了。 由AI优化的内核，在常见深度学习操作上，翻倍超越原生PyTorch，性能至多可以提升近400%—— （在NVIDIA L40S GPU上进行基准测试，性能百分比定义为参考时间除以生成的kernel_size时间） 更惊人的是，这一切都是 意外实现 的。 研究团队本来的目标是生成合成数据以训练内核生成模型。 结果发现，仅在测试阶段生成的合成数据本身，竟然可以生成性能非常优秀的内核。 围观网友：没想到AI也要取代内核工程师了。 矩阵乘法（Matmul，FP32） ：性能达到PyTorch torch.matmul 的101.3%。 二维卷积（Conv2D） ：性能达到 torch.nn.Conv2D 的179.9%。 Softmax ：性能达到 torch.softmax 的111.8%。 层归一化（LayerNorm） ：性能达到 torch.nn.LayerNorm 的484.4%。 Conv2D+ReLU+MaxPool ...

" 从算力利用率突破到后训练吞吐革新，华为用技术创新定义国产 大模型训练标杆。 " 作者丨李希 现在，请大家一起 数一下"1"、"2" 。 OK，短短2秒钟时间，一个 准万亿MoE大模型 就已经 吃透 如何解一道 高等数学大题 了！ 而且啊，这个大模型还是 不用GPU 来训练，全流程都是大写的 "国产" 的那种。 这，就是华为通过 "昇腾+Pangu Ultra MoE" 这套组合拳解锁的效果—— 不仅实现了国产算力与国产模型全流程自主可控的训练闭环，更是在集群训练系统性能方面达到行业领先 水平。 有多领先？来看一组数据： 预训练阶段：昇腾Atlas 800T A2万卡集群MFU提升至41% 后训练阶段：单CloudMatrix 384超节点吞吐达35K Tokens/s 值得一提的是，华为还 首次 把背后的一大秘籍给亮了出来。 具体来说，华为在这次发布的 技术报告 中，披露了在昇腾CloudMatrix 384超节点上，高效打通大稀疏 比MoE强化学习后训练框架的关键技术。 此举可以说是让以强化学习（RL）为核心机制的后训练，进入到了超节点集群时代。 01 不用GPU的"炼"准万亿大模型方法 在深入华为Pa ...

现在，请大家一起 数一下"1"、"2" 。 OK，短短2秒钟时间，一个 准万亿MoE大模型 就已经吃透如何解一道 高等数学大题 了！ 而且啊，这个大模型还是 不用GPU 来训练，全流程都是大写的 "国产" 的那种。 这，就是华为通 过 " 昇腾+Pan gu Ultra MoE" 这套 组合拳解锁的效果—— 不仅实现了国产算力与国产模型全流程自主可控的训练闭环，更是在集群训练系统性能方面达到行 业领先水平。 有多领先？来看一组数据： 预训练阶段：昇腾Atlas 800T A2万卡集群MFU提升至41% 后训练阶段：单CloudMatrix 384超节点吞吐达35K Tokens/s 值得一提的是，华为还 首次 把背后的一大秘籍给亮了出来。 具体来说，华为在这次发布的 技术报告 中，披露了在昇腾CloudMatrix 384超节点上，高效打通 大稀疏比MoE强化学习后训练框架的关键技术。 此举可以说是让以强化学习（RL）为核心机制的后训练，进入到了超节点集群时代。 不用GPU的"炼"准万亿大模型方法 在深入华为Pangu Ultra MoE训练系统全流程之前，老规矩，我们还是先来了解一下此前的技术 痛点。 整体 ...

衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 来和机器狗一起运动不？你的羽毛球搭子来了！ 无需人工协助，仅靠强化学习 ，机器狗子就学会了羽毛球哐哐对打，就像这样—— 在室外： 在室内： 都不在话下。 基于强化学习，研究人员开发了机器狗的全身视觉运动控制策略，同步控制腿部 （18个自由度） 移动，和手臂挥拍动作。 最终呈现出来的表现不赖，狗子最高挥拍速度达到12米/秒。 在与人类选手的协作比赛中， 某一回合连续击球10次 ，甚至涌现出如击球后回位中心的类人行为。 该研究在各种环境中进行了大量实验，验证了四足机器人预测羽毛球轨迹、有效导航服务区域，以及对人类球员进行最精准打击的能力。 证明了足式移动机器人在复杂和动态的体育场景中应用的可行性 。 研究背后团队来自 苏黎世联邦理工学院 。 相关论文刚刚发表在Science旗下子刊Science Robotics上。 然后生成关键指令，来控制四足底座。 羽毛球"大战"中涌现出类人行为 学会打羽毛球的机器狗是什么配置？ 公开数据如下： 主体由 一个四足ANYmal-D底座 和 一个动态手臂DynaArm 组成。 它 配备了一个带有全局快门的ZED X立体相机用于 ...

方法 无需搜索的强化学习框架 本文作者来自通义实验室和北京大学，第一作者是北京大学智能学院博士生孙浩，主要研究方向是RAG和Agent，在 NeurIPS、ACL、EMNLP 等国际顶级会议上 发表多篇论文，师从张岩教授。该工作在阿里巴巴通义实验室RAG团队实习期间完成。 信息检索能力对提升大语言模型 (LLMs) 的推理表现至关重要，近期研究尝试引入强化学习 (RL) 框架激活 LLMs 主动搜集信息的能力，但现有方法在训练过程中 面临两大核心挑战： 为了解决这些问题，我们提出了 ZeroSearch 框架 —— 无需真实搜索，直接用大语言模型模拟搜索引擎，并引入课程学习策略，在显著降低 88% 成本的同时，在 多项任务上性能超过依赖真实搜索引擎的方法。 传统训练方法需要在 Rollout 阶段频繁与真实搜索引擎交互，产生大量 API 开销，而大语言模型在预训练阶段积累了丰富的世界知识，具备根据 query 返回相关信 息的能力，因此 ZeroSearch 创新性地引入大语言模型作为模拟搜索引擎（Simulation LLM），无需真实搜索，即可为策略模型生成检索文档，大幅降低了训练成 本： $$\oper ...

「2025 年最大的变化，是强化学习在大语言模型训练上终于开始奏效了。」 这是 Anthropic 的两位研究员，Sholto Douglas（专注于强化学习）和 Trenton Bricken（研究机制可解释 性）对于今年模型趋势变化的总结。 Gemini 2.5 Pro 和 Claude Opus 4 的发布也变相证明了这个判断。 在 Dwarkesh Podcast 这期两个半小时的采访中，两位研究员对于 RLVR（可验证奖励的强化学习）、模 型的自我意识、以及 Claude 一直专注的「模型可解释性」做了深入的讨论。 尤其是模型以及 Agent 之后的发展方向，比如人类驾驭多个 Agent 的可能性、以及现阶段应该提高模型 的底线，而不是去追究极致。还有 AI 白领在未来两年的可能性，毕竟「Agent 操作电脑」并不难，只 要环境具备。 他们还夸奖了 DeepSeek 在模型研发上的「品味」，颇有种「惺惺相惜」的感觉。 两个半小时的采访，我们还摘录了 Sholto Douglas 在另外一期播客的部分回答，聊得很深入而且很透 彻。 TLDR: 2025 年最大的变化是强化学习技术在语言模型上真正奏效了 ...

文｜周鑫雨 编辑｜苏建勋 预训练还是不是王道？如今AI行业，这是最大的"罗生门"事件。 2023年，模型预训练，还是第一性原理。然而，从OpenAI前首席科学家Ilya公开喊话"预训练已走到尽头"，到聚焦强化学习的DeepSeek R1出圈，又昭示着 预训练风光不再。 从人人追捧，到口碑滑坡，预训练境遇的变化，是AI行业"共识"与"非共识"不断流动的一个缩影。 针对AI技术的共识与非共识，2025年5月27日的"技术开放日"上，蚂蚁集团攒了一个交流局。 圆桌对话的参与者，是当下最热的创业者、技术高管和学者： 曹越，视频模型公司Sand.AI创始人，前光年之外联创。2024年7月完成两轮融资后，公司估值已经超过1亿美元； 林俊旸，阿里通义千问（Qwen）技术负责人。从2021年发布的M6，到2025年的Qwen3，他都是名副其实的模型一把手； 孔令鹏，香港大学助理教授、NLP LAB联合主任。其牵头研发的扩散推理模型Dream 7B，成为了开源扩散语言模型的新SOTA。 △图源：作者拍摄 某种意义上，曹越和孔令鹏，都在探寻AI"非共识"的过程中收获颇丰——他们都试图将语言模型和视觉模型训练的主流架构，分别应用到 ...

机器之心报道 编辑：泽南、+0 我们训练了这么久，都在训练些什么？ 这是今年最「好笑」的一篇论文。 本文一出，所有的大语言模型（LLM）+ 强化学习（RL）都要被质疑是否有意义了。 这周二，一篇来自华盛顿大学、艾伦人工智能实验室、伯克利的论文引爆了 AI 界。 作者驳斥了最近大模型领域盛行的强化学习方式，他们发现： 使用虚假奖励训练 Qwen2.5-Math-7B 模型也可以提高 MATH-500 的成绩，如果是随机奖 励，成绩能提高 21%，如果是错误奖励，成绩能提升 25%（真实奖励能提升 28.8%）。 这是怎么一回事？大模型的训练技巧真的有用吗？该工作的作者写了一篇博客进行了介绍： 质疑强化学习 (RLVR) 传统观点 近一段时间，可验证奖励强化学习（RLVR）已成为增强大型语言模型（LLM）推理能力的标准方法。传统观点认为，高质量的监督信号对于有效的 RLVR 训 练至关重要。最近的研究挑战了这一假设，表明使用 RLVR 对单个样本或无监督样本进行训练仍然可以在 Qwen-Math 模型上取得显著的进步。 但是，我们不禁要问：单样本或无监督 RLVR 中的训练信号来自哪里？为了提供有意义的 RLVR ...

生成式AI 一、 全球首个，阿联酋让全民免费用ChatGPT Plus ，高月 费 免 除 1. 阿联酋将成为全球首个让全民免费使用ChatGPT Plus的国家，这是OpenAI与阿联酋政府合 作的一部分； 2. 阿布扎比将建设Stargate UAE高性能AI数据中心，支持1千兆瓦计算集群，初期目标200兆 瓦容量； 3. 此合作属于OpenAI"面向国家"计划，阿联酋承诺匹配美国同等资金，投资总额可能高达 200亿美元。 https://mp.weixin.qq.com/s/7xmjdJK5xwzFYqC8rxoUtA 二、 最近有点卷，OpenAI 憋不住放出 GPT-4o 的隐藏技能：唱歌！ 1. OpenAI为GPT-4o启用唱歌功能，被认为是对谷歌I/O大会发布Gemini 2.5 Pro和Veo3的回 应； 2. 谷歌新发布的Gemini 2.5 Pro在多项基准测试中超越OpenAI和Claude模型； 3. 分析认为GPT-4o的唱歌功能不足以扭转局势，OpenAI需要尽快推出GPT-5才能重新夺回AI 领域领先地位。 https://mp.weixin.qq.com/s/jG1QLQ_G ...