康奈尔大学新突破！代码数据集全开源：你的动作已被机器人破解

人类行动迅速，常常左右手交替同时执行多个动作任务——这样的演示视频，机器人该如何学习？ " 只 要 人 类 的 移 动 方 式 与 机 器 人 不 同 ， 现 有 方 法 就 会 立 即 失 效 ， " 康 奈 尔 大 学 计 算 机 科 学 助 理 教 授 Sanjiban Choudhury如是说。"我们的想法是，'能否找到一种原则性的方法来解决人类和机器人执行任 务方式之间的这种不匹配问题？'" ○ 从全局语义匹配出发计算最佳传输距离。将机器人视频分割为短序列，从人类视频库中检索整体任务 意图最接近的片段。这种方式对动作风格差异较大的情况具有鲁棒性。 近日， Choudhury教授团队Kushal Kedia和Prithwish Dan等人在机器人模仿学习领域取得突破， 提出 了全新框架 RHyME （Retrieval for Hybrid Imitation under Mismatched Execution）。 该架构无需 任何人机配对数据，仅凭跨形态的语义对齐，就能在仿真与真实环境中将任务成功率提升 50% 以上，精 准复现复杂的长时序操作。 ▍ 为何机器人对人类视频的动作模仿总是"学废了"？ ...