闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 不用提前熟悉环境，一声令下，就能让宇树机器人坐在椅子上、桌子上、箱子上！ 还能直接解锁 "跨过箱子"、"敲门" 等任务~ 这是来自UC伯克利、卡内基梅隆大学等团队的最新研究成果 LeVERB框架 —— 基于 模拟数据训练 实现 零样本部署 ，让人形机器人通过感知新环境，理解语言指令就能直接完成全身动作。 传统人形机器人要么 "能看懂指令却动不了"（缺乏全身控制能力），要么 "只能机械执行动作却读不懂环境"（依赖人工预设动作库）。 LeVERB首次打通了 视觉 语义理解 与 物理运动 两者之间的断层，让机器人能像人类一样从"想"到"做"，自动感知环境，直接遵循指令完成 动作。 上面展示的"坐下"动作就是通过 " 相机感知环境+'坐在[椅子/盒子/桌子]上'指令" 完成的： 团队还推出了配套基准： LeVERB-Bench 。 这是首个面向人形机器人WBC（全身控制）的 "仿真到真实" 视觉-语言闭环基准，包含10类超150个任务。 团队将该框架部署在 宇树G1机器人 上进行基准测试，结果显示： 在简单视觉导航任务中 零样本成功率达80% ，整体任务成功率 5 ...