这项工作由伊利诺伊大学香槟分校 (UIUC)、哈佛大学、哥伦比亚大学和麻省理工学院 (MIT) 的合作完成 。 我们的解决方案：组合策略 (Compositional Policies) 为什么特征拼接 (Feature Concatenation)会在机器人感知和决策中失效？ 想象一下，你在黑漆漆的背包里找钥匙。你的眼睛此时毫无用处，全靠指尖的触觉，这对你来说轻而易举 ，但在机器人领域，这却是一个非常困难的问题。 残酷的真相： 目前的机器人学习主流的多传感器融合的算法（Feature Concatenation）在处理这种任务时彻底失败了。我们的实验数据显示，当你给机器人加上触 觉数据试图让它更聪明时，它的抓取成功率竟然从 35% 暴跌至 5%！为什么？ 因为传统的方法把偶尔出现的关键触觉信号当作了 "噪音" 直接过滤掉了。 当前方法的局限性 目前的多模态机器人学习方法通常使用 特征拼接 (Feature Concatenation) ：提取所有传感器的嵌入 (embeddings)，将其拼接成一个大向量，然后输入到一个单一 的神经网络策 略中 。 论文标题： Multi-Modal Manipulatio ...