随着多模态大语言模型（ MLLMs）的快速发展， 其在视频推理等前沿任务中快速进化，不断突破性能天花 板。而 强化学习（ RL）作为推动这场技术革命的关键引擎，为大语言模型注入了强大的推理能力。 DeepSeek-R1凭借纯RL优化，让模型推理能力实现质的飞跃；VideoR1引入T-GRPO，赋予模型拆解视频 时空逻辑的 "透视眼"；VideoChat-R1借助基于 GRPO 的多任务联合微调，让模型在视频理解与多步推理 上表现得更加 "聪明伶俐"，相关成果不断涌现…… 尽管 基 RL驱动的优化在指标提升上成绩亮眼， 但 在面对复杂多模态任务时，依然存在两大拦路虎： 一方 面，思维链推理应用到多模态时 "水土不服"，不仅产出的推理过程冗长没重点，训练目标还常忽略关键时空 线索，拖慢学习效率；另一方面，现有依赖单选题问答的稀疏二元奖励信号太" 简单 粗暴 "，只认可全对答 案，埋没部分正确内容。不过幸运的是，视频定位研究已证实，软奖励信号能稳定学习过程、提升精度 。 ▍提出TW-GRPO框架：革新加权机制与奖励设计 面对多模态大语言模型在视频推理任务中存在的推理质量和奖励粒度等挑战，来自 中山大学、兰州大学、合 ...

作者 | 瀑风 编辑 | 自动驾驶之心 原文链接： https://zhuanlan.zhihu.com/p/1916810989434807458 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >>点击进入→ 自动驾驶之心 『VLA』技术交流群 本文只做学术分享，如有侵权，联系删文 2025年5月，VLA的RL领域掀起了一股热潮，不仅传统的PPO、GRPO、DPO等算法纷纷被移用到VLA上， 而且各种针对VLA特殊性的创新tricks层出不穷。本文将梳理VLA领域RL算法的来龙去脉。 早期探索：iRe-VLA （Improving Vision-Language-Action Model with Online Reinforcement Learning） ★ https://arxiv.org/pdf/2501.16664 arxiv.org/pdf/2501.16664 这篇文章的核心算法是PPO，并且针对在线强化学习不稳定的问题提出了双阶段的训练范式： 具体实现上，此文没有采用已有的VLA模型结构，而是将BLIP-2 3B用于VLM backb ...

S-GRPO的全称为序列分组衰减奖励策略优化（ S erial- G roup Decaying- R eward P olicy O ptimization），旨在提升大语言模型 （LLM）的推理效率和准确性，解决 冗余思考 问题。 S-GRPO团队 投稿 量子位 | 公众号 QbitAI AI回答问题太慢太长且无用，有没有能让大模型提前停止思考的方法？ 华为提出了首个在Qwen3上还有效的高效推理方法—— S-GRPO ，突破了思维链 「冗余思考」 瓶颈。 通过 "串行分组 + 衰减奖励" 的设计，在保证推理准确性的前提下，让模型学会提前终止思考， 推理提速60% ，生成更精确有用的答案。 S-GRPO适合作为当前Post Training（训练后优化）范式中的最后一步，在确保模型预先存在的推理能力不受损害的情况下， 使能模型在思 维链的早期阶段即可生成质量更高的推理路径，并在思考充分后隐式地提前退出 。 S-GRPO对单条完整推理路径进行分段截断 OpenAI o1, Deepseek-R1等推理模型依赖Test-Time Scaling law解决复杂的任务。 然而，过长的思维链序列的生成也显著增加了 ...

选自Nathan Lambert博客 机器之心编译 作者： Nathan Lambert 本文详细解读了 Kimi k1.5、OpenReasonerZero、DAPO 和 Dr. GRPO 四篇论文中的创新点，读完会对 GRPO 及其改进算法有更深的理解，进 而启发构建推理模型的新思路。 随着 DeepSeek R1 的持续爆火，推理和强化学习已经成为 AI 领域的热门词汇。 短短几个月的时间，我们已经见证了太多的推理大模型，AI 更新迭代速度似乎已经快进到了以天为单位。 但在众多研究成果中找到值得关注的内容并不容易。 这有一篇价值非常高的博客，可以帮你梳理最近关于推理模型的研究，重点关注 DeepSeek R1 里用到的 GRPO 及后续的改进算法，非常值得一读。作者是来自 AI2 的 ML 科学家 Nathan Lambert，他博士毕业于 UC 伯克利，曾在 HuggingFace 领导 RLHF 团队。 博客地址：https://www.interconnects.ai/p/papers-im-reading-base-model-rl-grpo 文章列举了最近比较火的论文和大模型，包括： 此外，作 ...

本文由字节跳动 Seed 和香港大学联合完成。第一作者薛泽岳为香港大学 MMLab@HKU 在读博士生，在 CVPR、NeurIPS 等国际顶级会议上发表多篇研究成果。 项目通讯作者为黄伟林博士和罗平教授。 R1 横空出世，带火了 GRPO 算法，RL 也随之成为 2025 年的热门技术探索方向，近期，字节 Seed 团队就在图像生成方向进行了相关探索。 现在，我们推出名为 DanceGRPO 的创新框架，这是首个旨在统一视觉生成强化学习的解决方案，实现了单一强化学习算法在两大生成范式（diffusion/rectified flow）、三项任务（文本到图像、文本到视频、图像到视频）、四种基础模型（SD、HunyuanVideo、FLUX、SkyReels-I2V）以及五类奖励模型（图像 / 视频美 学、图文对齐、视频动态质量、二元奖励）中的全面覆盖。 论文标题： DanceGRPO: Unleashing GRPO on Visual Generation arXiv 链接：https://arxiv.org/pdf/2505.07818 动机 在生成式 AI 快速发展的这三年，RLHF 逐渐的走进了大家的 ...

本文由香港中文大学与快手可灵等团队联合完成。第一作者为香港中文大学 MMLab 博士生刘杰，他的研究方向为强化学习和生成模型，曾获 ACL Outstanding Paper Award。 流匹配模型因其坚实的理论基础和在生成高质量图像方面的优异性能，已成为图像生成（Stable Diffusion, Flux）和视频生成（可灵，WanX，Hunyuan） 领域最先进模型的训练方法。然而，这些最先进的模型在处理包含多个物体、属性与关系的复杂场景，以及文本渲染任务时仍存在较大困难。与此同时，在 线强化学习因其高效探索与反馈机制，在语言模型领域取得显著进展，但在图像生成中的应用仍处于初步阶段。 为此，港中文 MMLab、快手可灵、清华大学等团队联合提出 Flow-GRPO，首个将在线强化学习引入 Flow Matching 模型的工作 。在 Flow-GRPO 加 持下，SD3.5 Medium 在 GenEval 基准测试中的准确率 从 63% 提升到 95%，组合式生图能力超越 GPT4o ，这说明 流匹配模型还有很大提升空间 ， Flow-GRPO 的成功实践，为未来利用 RL 进一步解锁和增强各类流匹配生 ...