ACMMM 2025 | 北大团队提出 InteractMove：3D场景中人与可移动物体交互动作生成新框架

该论文的第一作者和通讯作者均来自北京大学王选计算机研究所，第一作者为博士生蔡鑫豪，通讯作者为博士生导师刘洋。团队近年来在 TPAMI、IJCV、 CVPR、ICML 等顶会上有多项代表性成果发表，多次荣获国内外多模态理解与生成竞赛冠军，和国内外知名高校、科研机构广泛开展合作。 本文主要介绍来自该团队的最新论文 InteractMove：Text-Controlled Human-Object Interaction Generation in 3D Scenes with Movable Objects。 该研究首次提出了含可移动物体的 3D 场景中，基于文本的人 - 物交互生成任务，并构建了大规模数据集与创新方法框架，在多个评测指标上均取得了领先效果。 现有的人 - 场景交互数据集存在交互类别不足的问题，并且通常只考虑与静态物体的交互。随着可移动物体的引入，任务变得更具挑战性：模型不仅需要准确识别 目标交互物体，还要学会与不同类别和尺寸的物体交互，并避免物体与场景之间的碰撞。 为应对这些挑战，该研究提出了一个全新的方法框架：首先利用三维视觉定位模型确定目标交互物体；然后提出手 - 物联合可达图学习，用于预测 ...