随着多模态大语言模型（ MLLMs）的快速发展， 其在视频推理等前沿任务中快速进化，不断突破性能天花 板。而 强化学习（ RL）作为推动这场技术革命的关键引擎，为大语言模型注入了强大的推理能力。 DeepSeek-R1凭借纯RL优化，让模型推理能力实现质的飞跃；VideoR1引入T-GRPO，赋予模型拆解视频 时空逻辑的 "透视眼"；VideoChat-R1借助基于 GRPO 的多任务联合微调，让模型在视频理解与多步推理 上表现得更加 "聪明伶俐"，相关成果不断涌现…… 尽管 基 RL驱动的优化在指标提升上成绩亮眼， 但 在面对复杂多模态任务时，依然存在两大拦路虎： 一方 面，思维链推理应用到多模态时 "水土不服"，不仅产出的推理过程冗长没重点，训练目标还常忽略关键时空 线索，拖慢学习效率；另一方面，现有依赖单选题问答的稀疏二元奖励信号太" 简单 粗暴 "，只认可全对答 案，埋没部分正确内容。不过幸运的是，视频定位研究已证实，软奖励信号能稳定学习过程、提升精度 。 ▍提出TW-GRPO框架：革新加权机制与奖励设计 面对多模态大语言模型在视频推理任务中存在的推理质量和奖励粒度等挑战，来自 中山大学、兰州大学、合 ...

选自 unsloth.ai 作者：Unsloth Team 强化学习（RL）已经成为当今 LLM 不可或缺的技术之一。从大模型对齐到推理模型训练再到如今的智能体强化学习（Agentic RL），你几乎能在当今 AI 领域的 每个领域看到强化学习的身影。 近日，Daniel Han 和 Michael Han 两兄弟组成的团队 Unsloth（用于微调模型的同名开源项目 GitHub 星数已超过 4 万）发布了一个强化学习教程，其中从吃豆人谈 起，简单易懂地从 RLHF、PPO 介绍到 GRPO，还分享了如何用 GRPO 训练推理模型的技巧。 全面了解强化学习以及如何使用 GRPO 训练你自己的推理模型。这是一份从初学者到高级的完整指南。 你将学到什么 本文涵盖了你需要了解的关于 GRPO、强化学习 (RL) 和奖励函数的所有内容 —— 从初学者到高级，还有基于 Unsloth 使用 GRPO 的基础知识。 如果你正需要学习如何一步步实现 GRPO，这份指南值得一读。 ❓什么是强化学习 (RL)？ 强化学习的目标是： 就这么简单！「好」和「坏」的含义错综复杂，「增加」和「降低」也许斟酌，甚至「结果」的含义也各不 ...

选自Nathan Lambert博客 机器之心编译 作者： Nathan Lambert 本文详细解读了 Kimi k1.5、OpenReasonerZero、DAPO 和 Dr. GRPO 四篇论文中的创新点，读完会对 GRPO 及其改进算法有更深的理解，进 而启发构建推理模型的新思路。 随着 DeepSeek R1 的持续爆火，推理和强化学习已经成为 AI 领域的热门词汇。 短短几个月的时间，我们已经见证了太多的推理大模型，AI 更新迭代速度似乎已经快进到了以天为单位。 但在众多研究成果中找到值得关注的内容并不容易。 这有一篇价值非常高的博客，可以帮你梳理最近关于推理模型的研究，重点关注 DeepSeek R1 里用到的 GRPO 及后续的改进算法，非常值得一读。作者是来自 AI2 的 ML 科学家 Nathan Lambert，他博士毕业于 UC 伯克利，曾在 HuggingFace 领导 RLHF 团队。 博客地址：https://www.interconnects.ai/p/papers-im-reading-base-model-rl-grpo 文章列举了最近比较火的论文和大模型，包括： 此外，作 ...