尽管已有研究尝试引入触觉信息提升策略表现，但往往停留在简单拼接或辅助通道的层面，缺乏结构性设计，难以充分发挥视触结合的潜力。 为应对上述挑战，来自 UC 伯克利、北京大学、Sharpa 等机构的研究人员提出 ViTacFormer，一个融合视觉与触觉信息，并引入未来触觉预测机制的统一框架，专 为提升灵巧操控中的精度、稳定性与持续控制能力而设计 。 灵巧操控是机器人实现类人交互的关键能力，尤其在涉及多阶段、细致接触的任务中，对控制精度与响应时机提出了极高要求。尽管视觉驱动的方法近年来快速 发展，但在遮挡、光照变化或复杂接触环境下，单一视觉感知常常失效。 触觉感知为机器人提供了与环境交互的直接反馈，在判断接触状态、施力时机等方面扮演着不可替代的角色。然而，当前大多数方法仅将触觉信息作为静态输入 进行融合，缺乏真正有效的多模态联合建模机制。更为关键的是，现有方法往往只关注当前的触觉状态，忽视了对未来触觉变化的预测。这种短视导致机器人在 连续操作中难以提前准备、策略难以稳定，特别是在需要时序感知和力觉判断的任务中表现不佳。 近日，一个「人形机器人做汉堡」的视频火爆全网！ 这个具备 [主动视觉]、[高精度触觉] 以及 ...

文 | 昆仲资本 我们先来做个小实验。 请你打开冰箱，并从冰箱里捏起一枚生鸡蛋。 这时，你能感知到它的椭圆形状、微妙的重量，以及表面细腻且略带粗糙的质感。更重要的是，你能精 确控制施加的力度——既不会捏碎脆弱的蛋壳，也不会让它从指间滑落。这种精细的力控能力源于我们 指尖数以万计的触觉感受器，它们能同时感知多维度的力学信息，包括压力、纹理和温度。 图片来源：visiblebody 如今，机器人也正在获得这种神奇的能力。但对于机器人来说，这种对物理世界的精确感知需要通过视 触觉传感器实现。这些传感器通常由柔性材料制成，内部嵌入压力传感元件和成像系统，能够捕捉物体 的形状、硬度、纹理等多种特性。近年来，视触觉传感器已经在人形机器人产业链中发挥越来越重要的 作用，并成为实现机器人灵巧操作的关键技术环节。 视触觉传感器(Vision-Based Tactile Sensor，VBTS)是一种基于视觉的触觉感知装置。与传统的单一维度 力传感器不同，它能够同时感知法向力（垂直于表面）、剪切力（平行于表面）、相对滑动和物体的位 姿等多维信息，非常接近人手的触觉信息维度。 01 什么是视触觉传感器？ GelSight是视触觉传 ...