超级智能（Superintelligence）是处于 AGI 之上、甚至通用能力超过人类的更高维 AI 发展方向。 学术头条在不改变原文大意的情况下，对整体内容做了精编，如下： 然而，在 Meta AI 研究员 Jack Morris 看来，Altman 提到超级智能的"工程问题"，在于"构建大量适用于不同任务的 RL 环境，并训练 LLM 同时处理所有 这些任务"。他认为，这一由 OpenAI 等公司当前大力推进的路径——基于 LLM 的 RL——根本无法构建超级智能。 "我谦卑的预测是：LLM 将继续在训练分布内的任务上变得更好。随着我们收集更多类型的任务并进行训练，这将产生在广泛任务上越来越有用的 LLM。但它不会成为一个单一的超级智能模型。" Morris 在一篇题为"Superintelligence, from First Principles"的博客中，探讨了构建超级智能的 3 种可能方式：完全由监督学习（SL）、来自人类验证者 的强化学习（RL）、来自自动验证器的 RL。 扎克伯格不惜以一亿美金年薪挖角 OpenAI 等竞争对手的动作背后，便暴露了 Meta 等头部玩家追求"超级智能"的巨大野 ...

梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 近期arxiv最热门论文， Qwen&清华LeapLab 团队最新成果： 在强化学习训练大模型推理能力时， 仅仅20%的高熵token就能撑起整个训练效果 ，甚至比用全部token训练还要好。 团队用这个发现在Qwen3-32B上创造了新的SOTA记录：AIME'24上达到63.5分，AIME'25上达到56.7分， 这是600B参数以下直接从base模型训练的最高分。 最大响应长度从20k延长到29k，AIME'24的分数更是飙升到了68.1分。 揭开Chain-of-Thought的熵分布密码 要理解这项研究，需要先从一个有趣的观察说起： 团队发现，当大模型进行链式思考（Chain-of-Thought）推理时，token的熵分布呈现出一个独特的模式： 大部分token的熵都很低，只有少 数token表现出高熵特征 。 具体来说，超过50%的token熵值低于0.01，而只有20%的token熵值大于0.672。 经典的二八法则（或帕累托法则）指出，通常80%的结果由20%的关键因素驱动，但剩下80%也是不能轻易舍弃的。 但是在大模型强化学习这里，80 ...

机器之心报道 编辑：泽南、+0 我们训练了这么久，都在训练些什么？ 这是今年最「好笑」的一篇论文。 本文一出，所有的大语言模型（LLM）+ 强化学习（RL）都要被质疑是否有意义了。 这周二，一篇来自华盛顿大学、艾伦人工智能实验室、伯克利的论文引爆了 AI 界。 作者驳斥了最近大模型领域盛行的强化学习方式，他们发现： 使用虚假奖励训练 Qwen2.5-Math-7B 模型也可以提高 MATH-500 的成绩，如果是随机奖 励，成绩能提高 21%，如果是错误奖励，成绩能提升 25%（真实奖励能提升 28.8%）。 这是怎么一回事？大模型的训练技巧真的有用吗？该工作的作者写了一篇博客进行了介绍： 质疑强化学习 (RLVR) 传统观点 近一段时间，可验证奖励强化学习（RLVR）已成为增强大型语言模型（LLM）推理能力的标准方法。传统观点认为，高质量的监督信号对于有效的 RLVR 训 练至关重要。最近的研究挑战了这一假设，表明使用 RLVR 对单个样本或无监督样本进行训练仍然可以在 Qwen-Math 模型上取得显著的进步。 但是，我们不禁要问：单样本或无监督 RLVR 中的训练信号来自哪里？为了提供有意义的 RLVR ...

论文发现，只在 RLVR 训练中使用一个训练数据（称作 1-shot RLVR），就可以在 MATH500 上，将 Qwen2.5-Math-1.5B 的表现从 36.0% 提升到 73.6%，以及把 Qwen2.5-Math-7B 的表现从 51.0% 提升到 79.2% 。 这个表现和使用 1.2k 数据集（包括这一个数据）的 RLVR 效果差不多。 使用两个训练样本的 RLVR 甚至略微超过了使用 1.2k 数据集（称作 DSR-sub）的表现， 和使用 7.5k MATH 训练集的 RLVR 表现相当。这种表现可以在 6 个常用的数学推理任务上都可以观察到。 本文第一作者王宜平是华盛顿大学的博士生，其导师、通讯作者杜少雷为华盛顿大学Assistant Professor；另外两位通讯作者 Yelong Shen 和 Shuohang Wang 是 Microsoft GenAI 的Principal Researcher。 最近, 大型语言模型（LLM）在推理能力方面取得了显著进展，特别是在复杂数学任务上。推动上述进步的关键方法之一就是带可验证奖励的强化学习 （Reinforcement Learni ...