Workflow
3D人体网格恢复
icon
Search documents
单张照片重建3D人体总「穿模」?用群体偏好对齐+无标签训练,让四肢不再「漂移」丨CVPR'26
量子位· 2026-03-29 00:51
VLM-GPA团队 投稿 量子位 | 公众号 QbitAI 单靠一张RGB照片还原精准的3D人体模型,究竟有多难? 虽然基于扩散模型 (Diffusion Models) 的人体姿态估计方法让生成结果变得多样化,但"幻觉"也随之而来: 人体四肢莫名穿透身体、脚底悬空、或者在复杂遮挡下姿态完全走样。 针对这些顽疾,来自 南洋理工大学(NTU)、香港科技大学(广州)、商汤科技以及A*STAR 的研究团队提出了一种全新方案: VLM- Guided Group Preference Alignment 。 他们开发了一个 具备"双重记忆"和"自我反思"能力的VLM裁判代理 ,并提出了一套全新的 群体偏好对齐 (Group Preference Alignment) 框架。该框架灵感源自大语言模型中爆火的GRPO技术,并将其首次成功适配到3D人体网格恢复 (HMR) 领域,显著提升了 模型在野外复杂场景下的表现。 目前,该论文已被 CVPR 2026 接收。 痛点:为什么扩散模型也会"飘"? 在单目HMR任务中,由于深度信息的缺失,同一个2D观察在数学上可能对应无数种3D姿态。 现有的扩散模型虽然能生成多个候选结果来 ...