抢跑特斯拉，中国团队用视频学习教机器人学会操作

近期，该研究团队再次发布 升级版视频学习框架 ，双臂机器人不仅能完成精准的双臂长程任务，更是能 自 主识别任务对象的状态 ，无论是倒扣的透明一次性碗或塑料框，还是从未见过的任意丢出的多种水瓶，面对 随机的干扰，都能丝滑地将任务完成， 任务成功率高达 95% 。并且这一系列操作， 已经快速迁移到不同的 机器人本体 ， 体现出该技术架构通往智能涌现的无限潜力。 1. 视频学习的本质到底是什么，真能让机器人 " 一看就会 " 吗？ 视频学习的本质在于将人类在视频中暴露出的 时空行为模式与语义意图转化为可供机器人执行的操作策略 ： 视频提供了丰富的自然演示，包括空间布局、手 - 物交互、动作分段与语义上下文等。这些信息如果被可靠 地抽取与对齐，能够极大地降低对人工示教或昂贵遥操作数据的依赖，从而实现规模化的技能获取（关于从互 联网视频扩展机器人学习的概念与综述，请参见近年的 Survey [2] ）。 然而， 视频学习天然存在若干核心缺陷： • 具身本体差异： 人类演示的运动学 / 动力学与机器人平台往往不匹配，直接照搬会导致失败； • 物理交互缺失： 单纯的视觉信号无法提供接触力、摩擦等物理量，导致策略在真实接触时 ...