机器之心原创 作者：Youli Pokee AI 公开测试版现已正式上线！ 「哈喽，可以听到吗？」北京时间上午 10 点，大洋彼岸的 Pokee.ai 创始人朱哲清接通了我们的连线电话， 此刻他正位于美国西海岸，当地时间为前一日晚上 7 点。 用他的话说最近的状态就是「忙」，非常忙。忙着发布 Agent 产品 Pokee AI 的公开测试版，忙着处理第一 轮融资的各种后续事宜，忙着对核心 4 人组团队「扩张」至 7 人，忙里偷闲在小红书庆祝自己 29 岁生日， 并在评论下认真回复网友提问…… 「忙」，或许不是从最近开始的，往前数 200 多天，那时候也「忙」。忙着成立 Pokee.ai，忙着与 100 多位 投资人聊如何用强化学习模型构建 AI Agent，忙着准备产品内测。 再往前数到 2017 年，依旧是「忙」。一边忙着在斯坦福攻读强化学习方向博士学位。一边忙着在 Meta 工 作，带领团队将强化学习落地到广告竞价、自动内容生成等业务，为公司带来高额增收。 朱哲清似乎已经习惯了「忙」。可他说，创业虽然忙，但有了更多的时间去思考，这是一种全新的体 验…… 创业是从去年 10 月开始的，公司名为 Pokee. ...

henry 发自 凹非寺 量子位 | 公众号 QbitAI 学好数理化，走遍天下都不怕！ 这一点这在大语言模型身上也不例外。 大家普遍认同：具备更强数学能力的模型往往也更智能。 但，常识就是用来打破的。 最近，来自CMU的团队发现，一些数学好的模型并没有将它们的"天赋"带到其他更加通用的领域。 研究发现， 只有用强化学习（RL）训练的模型才能将数学推理技能广泛迁移到其他任务上。而用监督微调（SFT）训练的模型则表现出有限 的迁移甚至没有迁移。 网友直呼：又一个 苦涩的教训（bitter lesson） 。 这数学题，不做也罢？ 很明显，人们训练大模型并不只是让它来做数学题的。 研究者之所以热衷于提高模型的数学表现，是因为希望它能够把数学那里学到的严密逻辑应用到其他更广泛的领域。 但在此之前，我们有必要知道，对于一个大模型，专门优化数学推理（math reasoning），它在其他任务（推理任务、非推理任务）上会变 得更好，还是更差？ 换句话说： 做数学推理训练，会不会帮助或者损害模型在其他领域的能力？ 为了解决这一疑问，研究评估了20多个模型在数学推理、其他推理任务（包含医学推理、医学推理、智能体规划）和非推 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 作者丨 GianlucaMonaci 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 研究背景与核心问题 图像目标导航（Image goal navigation）需要两种关键能力：一是核心导航技能，包括检测自由空间、障碍物 及基于内部表征做决策；二是通过比较视觉观察与目标图像计算方向信息。当前主流方法要么依赖专门的图 像匹配，要么预训练计算机视觉模块进行相对位姿估计。 研究聚焦于一个关键问题：该任务能否如近期研究所说，通过强化学习（RL）对完整智能体进行端到端训 练来高效解决？若答案为肯定，其影响将超出具身AI领域，有望仅通过导航奖励来训练相对位姿估计模型。 核心研究内容与方法 关键架构选择 研究探讨了多种架构设计对任务性能的影响，核心在于如何支持图像间的隐式对应计算，这对提取方向信息 至关重要。主要架构包括（figure 2）： 实验设计 Late Fusion ：分别编码观察图像和目标图像 ...

Core Viewpoint - The release of DeepSeek-R2 has been delayed due to CEO Liang Wenfeng's dissatisfaction with its performance and a shortage of Nvidia H20 chips, which are critical for its development [1][2][4]. Group 1: Development Timeline - The anticipation for R2 began after the release of the DeepSeek-V3 model in December last year, which was considered a benchmark for cost-performance [5]. - Initial expectations suggested that R2 would be launched in April, following the upgrade of V3 on March 24 [11]. - Despite the release of a paper on inference scaling in April, there has been no official update on R2's launch [12][16]. Group 2: Technical Specifications - R1's training utilized 30,000 H20 chips, 10,000 H800 chips, and 10,000 H100 chips, indicating the significant computational resources required for R2 [3]. - Leaked parameters for R2 suggested it would have 1.2 trillion parameters and utilize 5.2 petabytes of training data, raising questions about its hardware requirements [17]. Group 3: Community Reactions - Following the news of the delay, community responses varied, with some expressing belief that the delay would be worthwhile, while others speculated that R2 might wait for the release of V4 [26][28].

本文第一作者为韩沛煊，本科毕业于清华大学计算机系，现为伊利诺伊大学香槟分校（UIUC）计算与数据科学学院一年级博士生，接受 Jiaxuan You 教授 指导。其主要研究方向为：大语言模型的安全性及其在复杂场景中的推理。 说服，是影响他人信念、态度甚至行为的过程，广泛存在于人类社会之中。作为一种常见而复杂的交流形式，这一颇具挑战的任务也自然地成为了日趋强大 的大语言模型的试金石。 人们发现，顶尖大模型能生成条理清晰的说服语段，甚至在 Reddit 等用户平台以假乱真，但大模型在心智感知方面的缺失却成为了进一步发展说服力的瓶 颈。 成功的说服不仅需要清晰有力的论据，更需要精准地洞察对方的立场和思维过程。这种洞察被心理学称为「心智理论」（ToM），即认识到他人拥有独立的 想法、信念和动机，并基于此进行推理。这是人类与生俱来的认知能力，而大模型在对话中却往往缺乏心智感知，这导致了两个显著的缺陷： 为解决这一问题，伊利诺伊大学香槟分校的研究者提出了 ToMAP（Theory of Mind Augmented Persuader），一种引入「心智理论」机制的全新说服模 型，让 AI 更能「设身处地」从对方的角度思考， ...

当前，Agentic RAG（Retrieval-Augmented Generation）正逐步成为大型语言模型访问外部知识的关键路径。但在真实实践中，搜索智能体的强化学习训练并未展现 出预期的稳定优势。一方面，部分方法优化的目标与真实下游需求存在偏离，另一方面，搜索器与生成器间的耦合也影响了泛化与部署效率。 我们（UIUC & Amazon）提出的 s3（Search-Select-Serve） 是一种 训练效率极高、结构松耦合、生成效果导向的 RL 范式 。该方法使用名为 Gain Beyond RAG (GBR) 的奖励函数，衡量搜索器是否真的为生成带来了有效提升。实验表明，s3 在使用仅 2.4k 训练样本 的情况下，便在多个领域问答任务中超越了数据规模大百 倍的强基线（如 Search-R1、DeepRetrieval）。 论文标题：s3: You Don't Need That Much Data to Train a Search Agent via RL 研究动机 RAG 的发展轨迹：从静态检索到 Agentic 策略 b. Search-R1 ：将检索与生成联合建模，以最终答案是否 Exa ...

RaML团队 投稿 量子位 | 公众号 QbitAI 近年来，大语言模型（LLM）以其卓越的文本生成和逻辑推理能力，深刻改变了我们与技术的互动方式。然而，这些令人瞩目的表现背后， LLM的内部机制却像一个神秘的"黑箱"，让人难以捉摸其决策过程。 上海AI Lab的研究团队的近期提出Reasoning as Meta-Learning（RaML)，尝试从 梯度下降 和 元学习 （Meta-Learning）的角度，揭示 了LLM如何"思考"，并为优化其性能提供了新思路。 RaML的核心洞察：推理即"梯度下降" RaML框架的核心在于一个直观的类比：LLM在解决问题时生成的"推理轨迹"（即一步步推导的过程），就像模型参数在优化过程中的"伪梯度 下降"更新。 这意味着，当LLM进行多步推理时，其内部状态（即模型参数）会像典型的参数优化过程一样，逐步地"调整"和"适应"，每一步都朝着更优的 解决方案逼近，直到得出最终的答案 。 研究团队通过理论推导发现，在Transformer模型中，每个推理轨迹的令牌都可以看作对参数的一次 "隐式更新" 。考虑典型的transformer块 的计算过程，当输入中增加一个推理轨迹令牌 ...

强化学习（RL）到底是语言模型能力进化的「发动机」，还是只是更努力地背题、换个方式答题？这个问题，学界争论已久：RL 真能让模型学会新的推理 技能吗，还是只是提高了已有知识的调用效率？ 过去的研究多数持悲观态度：认为 RL 带来的收益非常有限，有时甚至会让模型「同质化」加重，失去多样性。然而，来自英伟达的这项研究指出，造成这 一现象的根本原因在于：数学、编程等任务在 base model 的训练数据中被过度呈现，以及 RL 训练步数不足。 论文题目：ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models 链接：https://arxiv.org/pdf/2505.24864 ProRL 来了！长期训练 = 推理能力质变！ 由 NVIDIA 团队提出的 ProRL（Prolonged Reinforcement Learning）框架，将 RL 训练步数从传统的几百步大幅提升至 2000 步以上，释放了小模型潜 藏的巨大潜力。结果令人震惊： KL 正则化 + 周期性策略重置 这一突 ...

机器之心报道 编辑：张倩 「尽管经过 SFT 的模型可能看起来在进行推理，但它们的行为更接近于模式模仿 —— 一种缺乏泛化推理能力的伪推理形式。」 随着 OpenAI 的 o1/o3 和 Deepseek-R1 等具备强大推理能力的大语言模型相继问世，学界普遍采用「监督微调 + 强化学习」的两阶段训练范式：先通过推理数据进 行监督微调（SFT），再通过强化学习（RL）进一步提升性能。这种成功模式启发了研究人员将其优势从纯文本领域拓展到视觉 - 语言大模型（LVLM）领域。 但近日的一项研究成果却给出了一个惊人的发现：「SFT 可能会阻碍学习 —— 经常导致出现伪推理路径，而 RL 则是在促进真正的多模态推理！」 这个发现来自加州大学圣克鲁兹分校和德克萨斯大学达拉斯分校等机构的一个研究团队，他们深入探讨了「SFT+RL」这一经典范式在视觉语言模型开发中的适用 性，其中重点关注了两个核心问题：1）SFT 与 RL 在多模态推理中分别产生何种独特作用？2）这种两阶段训练对 LVLM 的推理能力是否确有必要？ 论文标题： SFT or RL? An Early Investigation into Training ...

机器之心报道 编辑：泽南、+0 我们训练了这么久，都在训练些什么？ 这是今年最「好笑」的一篇论文。 本文一出，所有的大语言模型（LLM）+ 强化学习（RL）都要被质疑是否有意义了。 这周二，一篇来自华盛顿大学、艾伦人工智能实验室、伯克利的论文引爆了 AI 界。 作者驳斥了最近大模型领域盛行的强化学习方式，他们发现： 使用虚假奖励训练 Qwen2.5-Math-7B 模型也可以提高 MATH-500 的成绩，如果是随机奖 励，成绩能提高 21%，如果是错误奖励，成绩能提升 25%（真实奖励能提升 28.8%）。 这是怎么一回事？大模型的训练技巧真的有用吗？该工作的作者写了一篇博客进行了介绍： 质疑强化学习 (RLVR) 传统观点 近一段时间，可验证奖励强化学习（RLVR）已成为增强大型语言模型（LLM）推理能力的标准方法。传统观点认为，高质量的监督信号对于有效的 RLVR 训 练至关重要。最近的研究挑战了这一假设，表明使用 RLVR 对单个样本或无监督样本进行训练仍然可以在 Qwen-Math 模型上取得显著的进步。 但是，我们不禁要问：单样本或无监督 RLVR 中的训练信号来自哪里？为了提供有意义的 RLVR ...