CMU最新！跨实体世界模型助力小样本机器人学习

点击下方 卡片 ，关注" 具身智能 之心 "公众号 >>直播和内容获取转到 → 具身智能之心知识星球 点击按钮预约直播 通过模仿学习来训练视觉运动策略（visuomotor policies）在众多机器人领域已被证明是有效的。然而，这些策略的性能严重依赖于训练示范（demonstrations）的数 量，而这需要在现实世界中进行昂贵的数据收集。本研究的目标是， 在训练视觉运动机器人策略时，通过利用来自各种具身（embodiments）——例如公开的机器 人数据集和人类摆弄物体的数据集——的现成或低成本数据，来减少数据收集的工作量。 本文的方法基于两个关键见解： 具身无关的世界模型预训练： 本文使用光流（optic flow） 作为一种具身无关的动作表示（embodiment-agnostic action representation），在跨多个具身的数据集上预 训练一个世界模型（World Model, WM），然后仅用少量目标具身的机器人数据对其进行微调（finetune）。 潜在策略引导（LPS） ： 提出了一种名为潜在策略引导（Latent Policy Steering, LPS） 的方法，通过在世 ...