Workflow
模仿学习
icon
Search documents
Human2LocoMan:通过人类预训练学习多功能四足机器人操控
自动驾驶之心· 2025-07-04 10:27
本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 出发点与工作背景 点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Yaru Niu等 编辑丨具身智能之心 四足机器人虽在复杂环境中移动能力出色,但赋予其可扩展的自主多功能操作技能仍是重大挑战,为此本 文提出一种用于四足操作的跨实体模仿学习系统,该系统利用从人类和配备多种操作模式的四足机器人 LocoMan 收集的数据,通过开发远程操作和数据收集管道来统一并模块化人类和机器人的观察空间与动作 空间,同时提出高效模块化架构以支持不同实体间结构化模态对齐数据的联合训练和预训练,还构建了首 个涵盖单手和双手模式下各种家庭任务的 LocoMan 机器人操作数据集及相应人类数据集;实验在六个真实 世界操作任务中验证,与基线相比整体成功率平均提升 41.9%、分布外场景提升 79.7%,利用人类数据预训 练后整体成功率提升 38.6%、分布外场景提升 82.7%,且仅用一半机器人数据就能持续实现更好性能。 我们的代码、 ...
卡耐基梅隆大学!Human2LocoMan:通过人类预训练学习多功能四足机器人操控
具身智能之心· 2025-07-03 13:36
点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Yaru Niu等 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 出发点与工作背景 四足机器人虽在复杂环境中移动能力出色,但赋予其可扩展的自主多功能操作技能仍是重大挑战,为此本 文提出一种用于四足操作的跨实体模仿学习系统,该系统利用从人类和配备多种操作模式的四足机器人 LocoMan 收集的数据,通过开发远程操作和数据收集管道来统一并模块化人类和机器人的观察空间与动作 空间,同时提出高效模块化架构以支持不同实体间结构化模态对齐数据的联合训练和预训练,还构建了首 个涵盖单手和双手模式下各种家庭任务的 LocoMan 机器人操作数据集及相应人类数据集;实验在六个真实 世界操作任务中验证,与基线相比整体成功率平均提升 41.9%、分布外场景提升 79.7%,利用人类数据预训 练后整体成功率提升 38.6%、分布外场景提升 82.7%,且仅用一半机器人数据就能持续实现更好性能。 我们的代码、 ...
具身智能领域,全球Top50国/华人图谱(含具身智能赛道“师徒关系图”)
Robot猎场备忘录· 2025-06-30 08:09
温馨提示 : 点击下方图片,查看运营团队2025年6月最新原创报告(共235页) 说明: 欢迎 约稿、刊例和商务合作、行业人士交流 , 行业交流记得先加入 "机器人头条"知识星球 ,后添加( 微信号: lietou100w )微信; 若有侵权、改稿请联系编辑运营(微信:li_sir_2020); 正文: 随着人工智能和大模型技术发展,具身智能赛道成为如今最火赛道之一;具身智能技术领域具体会涉及到大语 言模型(LLM)、视觉多模态模型(VLM)、强化学习(Reinforcement Learning)、深度强化学习(Deep Reinforcement Learning)、模仿学习(Imitation Learning)等诸多前沿技术。 人形机器人发展多年,从最初基于 模型的控制算法(LIPM+ZMP),到动态模型控制和最优控制算法 (MPC+WBC),到如今的模拟+强化学习(IL+RL),当然现阶段也有不少人形机器人公司采用MPC方式,各类 算法没有绝对的替代关系,各有优劣;IL+RL是目前人形机器人公司最常提起的概念,基本都是高校和头部科技 大厂内研发机构在研究,也是为什么目前人形机器人初创公司以"学院派" ...
保姆级分享!ALOHA:低成本双臂机器人结合模仿学习经典工作
具身智能之心· 2025-06-27 08:36
本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Tony Z. Zhao等 编辑丨具身智能之心 今天学习下从业人员都绕不开的 ALOHA 的这个文章,该文章分为硬件 ALOHA 部分,和算法 ACT 部分。 算是 23 年的古早时代的论文了(深感这行业还是需要软硬件都学习的) 什么是 ALOHA? A L ow-cost O pen-source Ha rdware System for Bimanual Teleoperation. 一种低成本开源的双臂遥控操作系统 论文:Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware paper:https://arxiv.org/abs/2304.13705 项目网站:https://tonyzhaozh.github.io/aloha/ 成本小于 20k 美刀 支持两种模式: m ...
SwitchVLA:无需额外数据采集,即可实时动态任务切换的轻量化VLA模型
自动驾驶之心· 2025-06-24 02:54
点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Meng Li等 >> 点击进入→ 具身智能之心 技术交流群 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 1简Intr 介 oduction - 基于模仿学习,目前主流的多任务 VLA 模型及其训练方式无法很好的应对任务变更问题。比如, 当任务A进行一半时,此时切换任务B,大部分方法解决该问题的能力十分薄弱。 - 诸如此类问题我们定义为 Task Switching ,即"任务切换"。为解决该问题,我们设计了执行感知 (Execution-Aware)机制,通过极简的形式表示了任务切换的情况。在模型侧采用了轻量化的网络 架构,并设计了新的训练范式及数据采样算法。 - 我们的方法 轻量 (0.27B)且 无需额外收集遥操数据 ,便可实现任务切换功能,并大幅超越现有 SOTA VLA 方法。 - 论文地址:https://arxiv.org/abs/2506.03574 - 项目网站:https://switchvla.gith ...
SwitchVLA:无需额外数据采集,即可实时动态任务切换的轻量化VLA模型
具身智能之心· 2025-06-23 13:54
点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Meng Li等 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要 的。 1简Intr 介 oduction - 基于模仿学习,目前主流的多任务 VLA 模型及其训练方式无法很好的应对任务变更问题。比如, 当任务A进行一半时,此时切换任务B,大部分方法解决该问题的能力十分薄弱。 - 诸如此类问题我们定义为 Task Switching ,即"任务切换"。为解决该问题,我们设计了执行感知 (Execution-Aware)机制,通过极简的形式表示了任务切换的情况。在模型侧采用了轻量化的网络 架构,并设计了新的训练范式及数据采样算法。 - 我们的方法 轻量 (0.27B)且 无需额外收集遥操数据 ,便可实现任务切换功能,并大幅超越现有 SOTA VLA 方法。 | - 论文地址:https://arxiv.org/abs/2506.03574 | - 项目网站:https://switchvla. ...
机器人系列报告之二十七:控制器提供具身智能基座,数据飞轮驱动模型迭代
行 业 及 产 业 机械设备 2025 年 05 月 15 日 控制器提供具身智能基座,数据飞 行 业 研 究 / 行 业 深 度 证券分析师 王珂 A0230521120002 wangke@swsresearch.com 戴文杰 A0230522100006 daiwj@swsresearch.com 刘洋 A0230513050006 liuyang2@swsresearch.com 胡书捷 A0230524070007 husj@swsresearch.com 联系人 胡书捷 (8621)23297818× husj@swsresearch.com 本期投资提示: 本研究报告仅通过邮件提供给 中庚基金 使用。1 请务必仔细阅读正文之后的各项信息披露与声明 证 券 研 究 报 告 轮驱动模型迭代 看好 ——机器人系列报告之二十七 ⚫ 目前人形机器人的硬件成熟度高于软件,而软件是人形机器人走向商业化的关键,但研 究相对空白。本文主要分析:1)算法:机器人的主要算法,包括运控算法和大模型 等;2)数据:主要来源和采集方式,目前所处阶段;3)控制系统:机器人"大脑"的 软硬件构成,如何为具身智能提供底层支撑。 ...