算法框架： 点击下方 卡片 ，关注" 具身智能 之心 "公众号 强化学习如何提升VLA泛化能力 清华大学、上海期智研究院、北京中关村科学院通过强化学习微调（PPO算法）显著提升视觉-语言-动作模 型（VLA）的泛化能力： 1)执行任务成功率提升42.6%（OOD场景） 2)语义理解任务成功率从61.5%提升至75.0%（未见物体） 3)动态干扰场景成功率从28.6%跃升至74.5%（Tab 3） 主要贡献： 论文标题：What Can RL Bring to VLA Generalization? An Empirical Study 论文链接：https://arxiv.org/pdf/2505.19789 1. 构建了一个严谨且具有挑战性的基准，用于评估 VLA 微调方法在视觉、语义和执行等不同维度上对泛 化能力的影响。 2. 确定 PPO 是优于 GRPO 和 DPO 的 VLA 微调 RL 算法，并讨论了将这些 RL 算法从 LLM/VLM 范式适 配到 VLA 独特需求时的关键挑战。 3. 开发了一种高效的基于 PPO 的 VLA 微调方案，该方案借助共享的 actor-critic 骨干网络、VL ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 说到机器人导航，技术路线已经逐渐从早期传统的建图定位导航，到后期基于大模型方案的导航演变。而 基于大模型方案的导航又分为视觉语言导航和目标导航！ 策略网络的学习过去集中在如何从标注的数据集中提取模式，数据增⼴在其中起到了关键作用。如今， LLM拥有了强大的先验知识，如何从中蒸馏有效的规划信息，成为了近期研究的热点。 再来看看目标导航 VLN更进⼀步，是目标导航任务（Object Navigation），目标导航要求智能体在陌生的三维环境中，仅凭目 标描述（如坐标、图片、自然语言）等，即可自主完成环境探索与路径规划。 如果说一句话说明这两个任务的区别，视觉语言导航是""听懂指令走对路"，目标导航是""看懂世界自己找 路"。 视觉语言导航是什么？ 视觉语言导航本质上是个指令跟随的任务。任务囊括了三个方面，理解语⾔指令、感知周围环境，规划运 动策略。一般来说，VLN机器人系统主要由视觉语言编码器，环境历史信息表征，以及动作策略三个模块 构成。 机器人从环境中获取语⾔指令和每⼀步的视觉观测，首先需要同时视觉语⾔编码器从中压缩出有效信息。 采用怎样的编码器，视觉和语言 ...

作者丨 视觉语言导航 编辑丨 视觉语言导航 点击下方 卡片 ，关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有 你想要的。 主要贡献 研究背景 作者：Zhangyang Qi , Zhixiong Zhang , Yizhou Yu , Jiaqi Wang , Hengshuang Zhao 单位： 香港大学， 上海AI实验室 论文标题：VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning 论文链接：https://arxiv.org/abs/2506.17221 项目主页：https://vlnr1.github.io/ 代码链接：https://github.com/Qi-Zhangyang/GPT4Scene-and-VLN-R1 提出VLN-R1框架 ：利用大型视觉语言模型（LVLM）处理第一视角视频流，从而实现连续环境中的视觉语 言导航。与以往基于离散导航图的方法不同，VLN-R1能够生成连续的 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 说到机器人导航，技术路线已经逐渐从早期传统的建图定位导航，到后期基于大模型方案的导航演变。而 基于大模型方案的导航又分为视觉语言导航和目标导航！ 如果说一句话说明这两个任务的区别，视觉语言导航是""听懂指令走对路"，目标导航是""看懂世界自己找 路"。 视觉语言导航是什么？ 视觉语言导航本质上是个指令跟随的任务。任务囊括了三个方面，理解语⾔指令、感知周围环境，规划运 动策略。一般来说，VLN机器人系统主要由视觉语言编码器，环境历史信息表征，以及动作策略三个模块 构成。 机器人从环境中获取语⾔指令和每⼀步的视觉观测，首先需要同时视觉语⾔编码器从中压缩出有效信息。 采用怎样的编码器，视觉和语言的表征是否应该投影到⼀个共同的表征空间，是否应该首先对语言指令在 指令级别的拆分然后在压缩是其中的关键问题。这其中，采用在大规模数据集上预训练的视觉语⾔模型， 利用LLM做指令拆解和任务拆分是目前主流且前沿的范式。 VLN机器⼈需要逐步获得视觉观测，执行动作，获得新的观测，以此循环，这天然是⼀个序列决策的任 务。那么如何累积历史上获得的信息，判断当前执行到任务的哪个阶段，为 ...

EI/中文核心/毕业论文/申博等 点击下方 卡片 ，关注" 具身智能 之心 "公众号 还在为论文选题抓耳挠腮？被数据建模折磨到头秃？面对导师批注手足无措？别慌！具身智能之心，资深导师团 队在线 "救援"，一站式解决你的论文烦恼！ 【前沿论文辅导重磅上线！多模态大模型/VLA/3D感知/数据生成/视觉语言导航/机器人导航/具身智能等顶会 方向1V1定制化辅导】 CCF-A到CCF-C SCI一区到四区 你是否正在研究以下前沿领域却苦于突破瓶颈？ 多模态大模型（视觉-语言预训练、跨模态推理） 视觉语言动作（VLA）（端到端、分层等） 视觉语言导航（VLN）（Embodied QA、指令跟随、场景理解） 机器人抓取与导航（Sim2Real、强化学习、3D场景建模） 具身智能体泛化（跨任务迁移、零样本适应、仿真环境构建） 3D高斯泼溅（3DGS）（实时渲染、动态场景建模、SLAM结合） 端到端具身智能体（决策闭环、多模态传感器融合） 具身合成数据生成（自动标注、域适应、数据增强） 为什么选择我们？ ✅ 顶会/顶刊导师团队：来自CMU、Stanford、MIT等名校的PhD及大厂研究员，覆盖ICRA、NeurIPS、C ...

VLN-R1团队 投稿 量子位 | 公众号 QbitAI 你对着家里的机器人说："去厨房，看看冰箱里还有没有牛奶。" 它不仅准确走到了厨房，还在移动过程中避开了椅子，转身打开冰箱，并回答你："还有半瓶。" 这不是遥远的科幻，而是视觉语言导航技术的下一站。 由香港大学与上海AI Lab联合提出的 VLN-R1 ，具备将自然语言指令直接转化为第一人称视角下的连续导 航动作的能力，无需依赖离散地图，能在复杂环境中灵活感知、决策与行动，实现类人级别的具身智能导 航。 在VLN-CE基准测试中，VLN-R1展现出了很强性能，仅用Qwen2-VL-2B模型（20亿参数），通过RFT训练 后就超越了7B模型的SFT结果。 更具挑战性的长距离导航中，VLN-R1实现了"跨域迁移"——在R2R上预训练后，仅用1万RxR样本进行 RFT，性能就超过了使用完整RxR数据训练的模型，彰显出极强的数据效率。 VLN-R1：让LVLM采用类Deepseek-R1范式成为具身导航会思考的"大脑" 视觉语言导航（VLN）是具身人工智能领域的核心挑战之一。其核心要求是：让智能体能够基于自然语言指 令（如"走到客厅的沙发旁"），在现实环境中自主 ...