本文的共同第一作者为新加坡国立大学博士生陈浩楠，南京大学研究助理 / 本科生李骏骁和北京大学博士吴睿海。合作者为刘益伟、侯懿文、徐志轩、郭京翔、高 崇凯、卫振宇、许申思、黄嘉祺。通讯作者为新加坡国立大学计算机学院助理教授邵林，研究方向为机器人和人工智能。 机器人对可形变物体的操作（Deformable Object Manipulation, DOM），是衡量通用机器人智能水平的关键指标之一。与刚体操作不同，衣物、绳索、食物等物体 的形态不固定，其状态空间维度极高，且物理交互过程呈现出复杂的非线性动力学特性，为感知、规划和控制带来了巨大挑战。 传统的服装折叠方法往往依赖于预定义的关键点或演示数据 [1, 2]，这严重限制了它们在不同服装类别间的泛化能力。现有研究大多采用基于规则的启发式方法或 依赖人工演示的学习方式，这些方法在面对多样化的服装类型和用户指令时表现出明显的局限性。 近年来，随着基础模型在计算机视觉和自然语言处理领域的巨大成功，研究者们开始探索将这些先进技术应用于机器人操作任务 [3]。视觉和语言引导的机器人操 作已成为当前研究的热点，它能够让机器人理解自然语言指令并执行相应的操作任务。然而，在可 ...