PAPO团队 投稿 量子位 | 公众号 QbitAI 让大模型在学习推理的同时学会感知。 伊利诺伊大学香槟分校（UIUC）与阿里巴巴通义实验室联合推出了全新的 专注于多模态推理 的强化学习算法 PAPO (Perception-Aware Policy Optimization)。 现有的强化学习算法（如GRPO）虽然在纯文本推理中表现优异，但当应用于多模态场景时，往往无法充分利用视觉信息进行推理。 近期有许多工作专注于提升强化学习再多模态场景中的应用，但大多集中在从数据（Data，Rollout）以及奖励机制（Reward）的设计，很 少设计对于核心GRPO算法的改动。 而PAPO通过创新的 隐式感知损失设计 ，仅依赖于内部监督信号，让多模态大模型在学习推理的同时学会感知，从根本上解决了现有方法中 感知与推理脱节的问题。 PAPO的模型和数据均已开源，详细可见文末链接。 错误分析：发现感知瓶颈 PAPO的第一个重要贡献是通过系统性的错误分析发现了多模态推理中的核心问题，也就是 视觉感知的准确性 问题。 PAPO团队对使用GRPO训练的Qwen2.5-VL-3B模型在四个基准数据集上的200个错误案例进行详细 ...

DreamPRM 由加州大学圣地亚哥分校的研究团队开发，在数学推理权威测评榜MathVista上获得了第一 名。 第一作者为博士生 Qi Cao，通讯作者为该校副教授 Pengtao Xie，团队其他成员还包括王睿一， Ruiyi Zhang 和 Sai Ashish Somayajula。 由于多模态输入（图像 + 文本）构成高维连续与离散信号的混合空间，训练数据与测试数据的分 布偏移（Distribution Shift）远超纯文本场景，导致一般过程奖励模型泛化能力显著下降。 数据集质量失衡。现有开源多模态推理数据集存在大量低价值样本，如冗余模态与低难度问题。 若直接用于训练，噪声数据会稀释过程奖励模型对关键推理步骤（如跨模态逻辑衔接）的监督信 号。 使用过程奖励模型（PRM）强化大语言模型的推理能力已在纯文本任务中取得显著成果，但将过程奖 励模型扩展至多模态大语言模型（MLLMs）时，面临两大难题： 针对上述问题，我们通过双层优化框架，将数据域权重（Domain Weights）作为可学习参数，动态抑 制低质量数据域的影响，同时强化高信息密度数据域（如需要多步跨模态推理的 M3CoT 数据集）的贡 献， ...

刘宗凯 投稿 量子位 | 公众号 QbitAI 具体的，相较基础模型QwenVL2.5-7B，基于CPGD和15k多模态数学数据MMK12训练的模型MM-Eureka-CPGD-7B在MMK12测试集 （包 括数学，以及训练数据分布外领域的物理、化学、生物） 上平均提升21.8%，在MathVista和MathVision等训练数据分布外领域上也分别提 升8.5%与11.4%，展现了优异的泛化能力。 模型规模扩展到MM-Eureka-CPGD-32B上则进一步在MMK12测试集上超越了o1，值得注意的是，尽管MM-Eureka-CPGD-32B只在数学数 据集上进行RL训练， 但在物理、化学和生物等学科均超过了o1 。 △ 不同模型在MMK12测试集中不同学科上的表现 今年2月，他们推出MM-Eureka系列是最早在多模态领域利用大规模Rule-based RL复现DeepSeek-R1关键能力（例如Visual aha- moment、稳定的回答长度增长）的工作之一，并将模型、代码、高质量多模态数据集MMK12、过程奖励模型MM-PRM全部开源，发布三个 月以来获得了学术界和开源社区广泛关注——模型已被下载 ...

点击下方 卡片 ，关注" 大模型之心Tech "公众号 戳我 -> 领取大模型巨卷干货 今天 大模型之心Tech 为大家分享一篇大模型相关论文。本文 深入 探讨了 多模态推理模型中推理能力与幻觉之间的平衡 问题 。如果您有相 关工作需要分享，请在文末联系我们！ 本文只做学术分享，如有侵权，联系删文 论文作者：Chengzhi Liu等 作者单位：加州大学、斯坦福大学 项目主页：https://mlrm-halu.github.io/ 解决方案： 不如设计一个能跟踪推理长度变化的指标吧！ 于是， RH-AUC 诞生了——它就像一个"动态平衡仪"，能画出"推理长度vs.感知准确率"的曲线，算出曲 线下面积（AUC），数值越高，说明模型在不同推理长度下越能"稳得住视觉基本盘"。 前言 自从以 DeepSeek-R1 为代表的 推理LLM 进入研究者广泛讨论范围后， 多模态推理模型 也在推理LLM的基础上，数月内掀起了狂热浪潮，各种工作层出不穷 （PS：这里可查看我们社区为大家汇总的多模态推理模型相关工作 这里查看「多模态推理模型」热门工作汇总(上)～ ； 盘一盘「多模态推理模型」近期热门工作 (下)～ ）。 今天就 ...

机器之心报道 自变量机器人 自变量机器人 主张，必须放弃以"多模态模块融合"为核心的拼凑式范式，转向一个端到端的统一架构。该 架构旨在彻底消解视觉、语言和行动之间的人为边界，将它们还原为单一信息流进行处理。 当前范式的根本局限 现有主流方法将不同模态视为独立模块，如预训练的 ViT 处理视觉信息，LLM 处理语言理解，然后通过融 合层进行连接。这种"委员会"式的设计存在着本质缺陷。 首先是 表 征瓶颈问题 。信息在不同模态的专属编码器之间传递时，会产生不可避免的压缩损失，就像将一 幅油画描述给盲人，再让盲人向聋人传达画面内容一样，每次转换都会丢失关键的细节和关联。 这种损失 阻碍了模型对物理世界进行深层次的跨模态理解。 最关键的是 无法涌现的问题 。结构上的割裂使得模型难以学习到物理世界中跨越模态的、直觉式的因果规 律。就像一个人无法仅通过阅读教科书就学会骑自行车一样， 真正的物理智能需要的是整体性的、具身的 理解 ，而不是模块化的知识拼接。 当 AI 放下海德格尔的锤子时，意味着机器人已经能够熟练使用工具，工具会"隐退"成为 本体的延伸，而不再是需要刻意思考的对象。 当一位熟练的木匠抓起锤子时，锤子消失了 ...

机器之心报道 机器之心编辑部 上上周的 2025 高考已经落下了帷幕！在人工智能领域，各家大模型向数学卷发起了挑战。 在 机器之心的测试 中，七个大模型在「2025 年数学新课标 I 卷」中的成绩是这样的：Gemini 2.5 Pro 考了 145 分，位列第一；Doubao 和 DeepSeek R1 以 144 分紧 随其后，并列第二；o3 和 Qwen3 也仅有一分之差，分别排在第三和第四。受解答题的「拖累」，hunyuan-t1-latest 和文心 X1 Turbo 的总成绩排到了最后两名。 其实，向今年数学卷发起挑战的大模型还有其他家，比如 Xiaomi MiMo-VL，一个只有 7B 参数的小模型 。 该模型同样挑战了 2025 年数学新课标 I 卷，结果显示， 总分 139 分，与 Qwen3-235B 分数相同，并只比 OpenAI o3 低一分 。 并且，相较于同样 7B 参数的多模态大模型 Qwen2.5-VL-7B， MiMo-VL 整整高出了 56 分 。 MiMo-VL-7B 和 Qwen2.5-VL-7B 是通过上传题目截图的形式针对多模态大模型进行评测，其余均是输入文本 lat ...

本期内容是拾象 CEO 李广密对大模型公司阶跃星辰首席科学家张祥雨的访谈， 首发于「张小珺商业 访谈录」。 张祥雨专注于多模态领域，他提出了 DreamLLM 多模态大模型框架，这是业内最早的图文生成理解 一体化的多模态大模型架构之一，基于这个框架，阶跃星辰发布了中国首个千亿参数原生多模态大 模型 Step-1V。此外，他的学术影响力相当突出，论文总引用量已经超过了 37 万次。 一直以来，业界都相当期待一个理解、生成一体化的多模态，但直到今天这个模型还没出现，如何 才能达到多模态领域的 GPT-4 时刻？这一期对谈中，祥雨结合自己在多模态领域的研究和实践历 程，从纯粹的技术视角下分享了自己对多模态领域关键问题的全新思考，在他看来，虽然语言模型 领域的进步极快，但多模态生成和理解的难度被低估了： • 接下来 2-3 年，多模态领域会有两个 GPT-4 时刻：多模态推理和自主学习； • 多模态生成理解一体化难以实现的原因在于，语言对视觉的控制能力弱，图文对齐不精确，数据质 量有限，生成模块往往无法反向影响理解模块等； • 模型 scale 到万亿参数后，在文本生成和知识问答能力增强的同时，推理能力，尤其是数学， ...

本期内容是拾象 CEO 李广密对大模型公司阶跃星辰首席科学家张祥雨的访谈。 张祥雨专注于多模态领域，他提出了 DreamLLM 多模态大模型框架，这是业内最早的图文生成理解 一体化的多模态大模型架构之一，基于这个框架，阶跃星辰发布了中国首个千亿参数原生多模态大 模型 Step-1V。此外，他的学术影响力相当突出，论文总引用量已经超过了 37 万次。 一直以来，业界都相当期待一个理解、生成一体化的多模态，但直到今天这个模型还没出现，如何 才能达到多模态领域的 GPT-4 时刻？这一期对谈中，祥雨结合自己在多模态领域的研究和实践历 程，从纯粹的技术视角下分享了自己对多模态领域关键问题的全新思考，在他看来，虽然语言模型 领域的进步极快，但多模态生成和理解的难度被低估了： • 接下来 2-3 年，多模态领域会有两个 GPT-4 时刻：多模态推理和自主学习； • o1 范式的技术本质在于激发出 Meta CoT 思维链：允许模型在关键节点反悔、重试、选择不同分 支，使推理过程从单线变为图状结构。 目录 01 研究主线： 重新回归大模型 • 多模态生成理解一体化难以实现的原因在于，语言对视觉的控制能力弱，图文对齐不精确， ...

MME团队 投稿 量子位 | 公众号 QbitAI 逻辑推理是人类智能的核心能力，也是多模态大语言模型 (MLLMs) 的关键能力。随着DeepSeek-R1等具备强大推理能力的LLM的出现，研 究人员开始探索如何将推理能力引入多模态大模型(MLLMs)。 然而，现有的benchmark大多缺乏对逻辑推理类型的明确分类，以及对逻辑推理的理解不够清晰，常将感知能力或知识广度与推理能力混 淆。 在此背景下，复旦大学及香港中文大学MMLab联合上海人工智能实验室等多家单位，提出了MME-Reasoning，旨在全面的评估多模态大模 型的推理能力。 结果显示，最优模型得分仅60%左右。 MME-Reasoning：全面评估多模态推理能力 根据Charles Sanders Peirce的分类标准，推理分为三类：演绎推理 (Deductive)、归纳推理 (Inductive) 以及溯因推理 (Abductive)。 MME-Reasoning以此分类作为标准来全面的测评多模态大模型的推理能力。 演绎推理 (Deductive reasoning) 使用规则和前提来推导出结论。 归纳推理 (Inductive reas ...

VL-Rethinker团队 投稿 量子位 | 公众号 QbitAI 1.1 GRPO中的「优势消失」问题 (Vanishing Advantages) 在GRPO算法中，优势信号（advantage）是通过比较同一查询组内不同候选回复的奖励来计算的 。当同一个问题组内所有回答获得相同奖 励（例如，全部正确或全部错误）时，计算得到的优势信号便为零 。研究团队发现，在GRPO训练多模态模型的过程中，随着训练的推进， 出现零优势信号的样本比例显著增加，这种现象被定义为 「优势消失」 (Vanishing Advantages) 。 相比于用于更多高质量推理数据的纯文本推理，Vanishing Advantages在能力较强的多模态模型强化学习时尤其突出。 这种显著的Vanishing Advantages源于两方面原因： 在文本推理领域，以GPT-o1、DeepSeek-R1为代表的 "慢思考" 模型凭借显式反思机制，在数学和科学任务上展现出远超 "快思考" 模型 （如 GPT-4o）的优势。 然而，当战场转移至多模态推理场景时，这些「思维巨匠」却表现平平：GPT-o在MathVista、MathVerse等多模 ...