如果说今年哪个方向最受欢迎，一定是VLA+RL。 VLA模型为具身智能带来了新的交互范式：机器人不再依赖精确定义的状态和规则，而是通过视觉感知环 境、理解语言指令，并直接生成动作序列。这一能力极大地降低了任务描述和系统设计的门槛，使机器人 能够应对更加开放和复杂的场景。 当前的研究趋势也逐渐从"单纯训练 VLA 模型"转向"以 VLA 作为策略表示，结合RL进行微调和强化"，包 括离线 RL 提升样本效率、层级 RL 约束长时序行为，以及基于视觉和语言的自监督反馈建模等方向。 方法上，目前VLA+RL主要分为在线RL、离线RL、test-time三种方案。 然而，在真实机器人系统中，VLA 往往仍然面临执行不稳定、对初始状态敏感、长时序任务易失败等问 题，其核心原因在于模型缺乏基于环境反馈的持续修正能力。 强化学习的出现为VLA带来了新的解决思路。RL并不是一门新的学科，但RL的优势为VLA提供了从"理 解"走向"执行优化"的关键机制。通过引入奖励或价值信号，RL可以在保持VLA感知与语言能力的同时，对 动作策略进行闭环优化，弥补模仿学习在分布外状态和误差累积上的不足。 纯模仿学习的 VLA，本质是在"复制数 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 ★ 继续具身智能之心上次的圆桌，我们为大家整理了机器人全身运控的一些insigts。这次主要探索RL+VLA、realsim2real、3DGS和仿真的一些问题，近万字分 享。 刘斯坦： 我们想聊一聊关于RL的事情，现在很多VLA的训练已经有点类似于标准化了，先进行模仿学习训练基座。然后基于一些仿真环境进行一些强化学习，就是跑最后的 是一公里或者十公里，最后的10%好像已经有一些这种标准化的一种训练的方式。我们如果看 deepseek R1。还有比如说最近提出的那个超级人工智能的一些图景的 话，其实全部都是关于RL的训练范式有关的创新，就是RL它不是一个简单的就是一个强化学习上，然后仿真环境去用了就结束了。它可能是涉及到一个非常复杂 的流程等等，我们想在第二个大问题的第一个小问题的讨论是关于RL训练范式的创新和未来发展的情况。首先，我们想就是问问张 ...

知名科技博主犀利指出，各大实验室通过RL（强化学习），耗资数十亿美元让大模型"排练"Excel、网页操作等技能，恰 恰暴露其距真正AGI仍远。若AI真接近类人智能，就该像人类一样从经验中自主学习，而非依赖"可验证奖励训练"。而真 正突破在于"持续学习"能力，这一过程或需5-10年才能完善。 硬·AI 作者 | 龙 玥 编辑 | 硬 AI 在人工智能迈向通用智能（AGI）的竞赛中，当前最受追捧的强化学习（RL）路径，可能正将我们引向一 条歧路——RL越强，距离真正的AGI或许越远。 12月24日，知名科技博主、Dwarkesh Podcast博客主持人Dwarkesh Patel今日发布了一则引发行业深思 的视频，直击当前大模型发展的痛点。在硅谷普遍对Scaling Law（缩放定律）和RL（强化学习）持极度 乐观态度的背景下，Patel提出了一个反直觉的犀利观点： 对RL（强化学习）的过度依赖和投入，可能非 但不是通往AGI的捷径，反而是其远未到来的明确信号。 Patel的核心论点在于，当前顶尖AI实验室正耗费巨资，通过基于可验证结果的强化学习，为大模型"预 制"大量特定技能，例如操作Excel或浏览网页。然 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 最近在盘VLA+RL的工作，不管是基于世界模型的在线方案，还是offline，VLA好像始终离不开RL。仅依赖 模仿学习的 VLA 在真实世界 OOD 场景中仍然脆弱，缺乏失败恢复、自主探索与闭环纠错能力。强化学习 （RL）的优势在于能够显著提升VLA模型的泛化能力，一些工作的实验显示分布外任务上的性能提升可达 42.6%。有效果，就有很多工作继续跟进，今年产出了好多篇paper～ 近期的几个工作，包括wholebodyvla、pi0.6、GR-RL都取得了惊艳的效果，pi0.6推出的时候很多同学说大概 率就是+强化。世界模型加持的在线系统也是比较活跃的方向，期望有更多突破。 工具上，VLA+RL框架也在逐渐完善，这里也推荐下于超老师那边的Rlinf，支持的方法越来越多。 链接：https://github.com/RLinf/RLinf 由于相关工作众多，这里给大家分享一些这两年比较有代表性的VLA+RL工作，这些paper陆续被不同的会 议收录。 ❝ 我们也建议后续的研究可以往此方向靠拢，如果不知道怎么展开研究也欢迎咨询具身智能之心的科研助理，一 键启动 ...

最近在盘VLA+RL的工作，不管是基于世界模型的在线方案，还是offline，VLA好像始终离不开RL。仅依赖 模仿学习的 VLA 在真实世界 OOD 场景中仍然脆弱，缺乏失败恢复、自主探索与闭环纠错能力。强化学习 （RL）的优势在于能够显著提升VLA模型的泛化能力，一些工作的实验显示分布外任务上的性能提升可达 42.6%。有效果，就有很多工作继续跟进，今年产出了好多篇paper～ 点击下方 卡片 ，关注" 具身智能 之心 "公众号 近期的几个工作，包括wholebodyvla、pi0.6、GR-RL都取得了惊艳的效果，pi0.6推出的时候很多同学说大概 率就是+强化。世界模型加持的在线系统也是比较活跃的方向，期望有更多突破。 工具上，VLA+RL框架也在逐渐完善，这里也推荐下于超老师那边的Rlinf，支持的方法越来越多。 链接：https://github.com/RLinf/RLinf 由于相关工作众多，这里给大家分享一些这两年比较有代表性的VLA+RL工作，这些paper陆续被不同的会 议收录。 ❝ 我们也建议后续的研究可以往此方向靠拢，如果不知道怎么展开研究也欢迎咨询具身智能之心的科研助理，一 键启动 ...

Core Insights - The article emphasizes the integration of Reinforcement Learning (RL) with Vision-Language-Action (VLA) models to enhance their generalization capabilities, particularly in out-of-distribution (OOD) scenarios, where performance improvements can reach up to 42.6% [2]. Group 1: Research Directions - The article suggests that future research should focus on the combination of VLA and RL, encouraging collaboration with research assistants for guidance on starting projects in these areas [3]. - Several notable recent works in VLA+RL have been highlighted, showcasing significant advancements in the field [5][10]. Group 2: Notable Papers and Projects - A list of representative papers from the last two years is provided, including titles such as "NORA-1.5" and "Balancing Signal and Variance," which focus on various aspects of VLA and RL integration [5][10]. - Links to project homepages and paper PDFs are shared for further exploration of these works [6][9][12]. Group 3: Tools and Frameworks - The article mentions the development of tools like Rlinf, which supports a growing number of methods for VLA+RL frameworks, indicating a trend towards more robust and versatile research tools [2][11].

强化学习是否能够用于Text-to-3D生成，以加强3D自回归模型的逐步推理与生成过程？ 3DGenR1团队 投稿 量子位 | 公众号 QbitAI 在大语言模型和文生图领域，强化学习 （RL） 已成为提升模型思维链与生成质量的关键方法。 但当我们将目光转向更为复杂的文本到3D生成时，这套方法还会还管用吗？ 近期，一项由 西北工业大学、北京大学、香港中文大学、上海人工智能实验室、香港科技大学合作 开展 的研究系统性探索了这一重要问 题。 论文链接： https://arxiv.org/pdf/2512.10949 代码链接： https://github.com/Ivan-Tang-3D/3DGen-R1 在LLM推理和2D文生图中，RL已经证明可以显著提升CoT推理能力和生成质量。但 3D物体更长、更稠密、更具几何约束 。 因此相关方向研究常面临这几个问题： Progressive Investigation：四个层次拆解Text-to-3D+RL 1. Reward设计层 1. 奖励如何同时刻画语义对齐、几何一致性和视觉质量？ 2. 现有RL算法是否适合自回归式3D生成？ 3. 缺乏专门考察"3D推理能力 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 作者丨 Haoyuan Deng等 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 Vision-Language-Action（VLA）模型通过融合视觉、语言与动作，为机器人带来了强大的零样本与跨任务泛化能力。但仅依赖模仿学习的 VLA 在真实世界 OOD 场 景中仍然脆弱，缺乏失败恢复、自主探索与闭环纠错能力。 强化学习（RL）正成为连接 VLA 预训练与真实部署的关键桥梁。 由南洋理工大学、北京邮电大学、清华大学联合推出， 本综述系统梳理了 RL-VLA 在"学习—优化—部署"全生命周期中的核心方法与挑战，并从四个维度构建了 完整技术图景：架构、训练范式、真实世界部署以及评估。 一、RL-VLA 架构：从开环推理到闭环优化 RL 通过奖励驱动的策略更新，使 VLA 从"复现示范"转向"结果导向"的闭环决策： 动作建模 A 论文链接（每月更新） ：https://doi.org/10.362 ...

Core Insights - Ilya Sutskever, a prominent figure in deep learning and former chief scientist at OpenAI, has raised concerns about the future of AI development, suggesting that the "Scaling Law" era is nearing its end, necessitating a shift from resource competition to paradigm innovation in AI research [1][5][12] Group 1: AI Development Phases - The development of AI can be divided into two distinct phases: the exploration era (2012-2020) characterized by innovative research, and the scaling era (2020-2025) where increased computational power and data led to linear improvements in model performance [6][7] - The current path of relying on increased computational resources is reaching its limits due to the scarcity of high-quality data, which has been largely exhausted [8] Group 2: Limitations of Current AI Models - Despite achieving high scores in benchmark tests, AI models exhibit a "high scores, low utility" paradox, where they perform well on familiar tasks but struggle with complex, unseen real-world applications [2][4] - The existing training mechanisms are plagued by "reward hacking," leading to models that excel in specific evaluations but lack genuine understanding and reasoning capabilities [3][4] Group 3: Future Directions and Safety Concerns - As the industry is forced to return to a research-focused approach, a key breakthrough will involve enabling AI to learn continuously, which introduces significant safety risks [9] - The potential for AI systems to merge expertise instantaneously raises concerns about loss of control, prompting the need for incremental deployment strategies to calibrate AI behavior through real-world feedback [10] Group 4: Human-AI Interaction and Future Outlook - Sutskever warns against a utopian vision where humans rely entirely on omnipotent AI assistants, suggesting that this could lead to a loss of understanding and agency [11][12] - To maintain a participatory role in the AI era, humans must integrate with AI technologies, ensuring that cognitive capabilities are shared and that human involvement remains central [12]

机器之心报道 机器之心编辑部 近期，强化学习（RL）技术在提升语言模型的推理能力方面取得了显著成效。 然而， 后训练究竟是真正扩展了模型的推理能力，还是仅仅挖掘了预训练中已有的潜力？ 目前尚不明确。 一个核心挑战在于现代训练流程缺乏可控性：大规模预训练语料库不够透明，中期训练往往缺乏充分研究，且 RL 目标函数与未知的先验知识之间存在复杂 的交互作用。 为了回答这个问题，来自卡耐基梅隆大学（CMU）的研究者通过构建 基于 GSM-Infinite 的可控合成数据框架 ，在完全解耦的环境下，定量分析了预训 练、Mid-training（中期训练/CPT）和 RL 三者对模型推理泛化能力的因果影响。旨在剥离并独立分析预训练、中期训练以及基于 RL 的后训练各自的因 果贡献。 https://x.com/xiangyue96/status/1998488030836044112 研究者从两个维度对模型进行评估：针对更复杂组合的外推泛化能力，以及跨越不同表层语境的情境泛化能力。利用该框架，研究者调和了关于 RL 有效性 的不同观点。 研究表明： 仅当预训练留有足够提升空间，且 RL 数据针对模型的能力边界（即那些虽具 ...