VGGT4D：无需训练，挖掘3D基础模型潜力，实现4D动态场景重建

如何让针对静态场景训练的 3D 基础模型（3D Foundation Models）在不增加训练成本的前提下，具备处理动态 4D 场景的能力？ 来自香港科技大学（广州）与地平线 (Horizon Robotics) 的研究团队提出了 VGGT4D。该工作通过深入分析 Visual Geometry Transformer (VGGT) 的 内部机制，发现并利用了隐藏在注意力层中的运动线索。 作为一种无需训练 (Training-free) 的框架，VGGT4D 在动态物体分割、相机位姿估计及长序列 4D 重建等任务上均取得了优异性能。 论文标题: VGGT4D: Mining Motion Cues in Visual Geometry Transformers for 4D Scene Reconstruction 研究背景 近年来，以 VGGT、DUSt3R 为代表的 3D 基础模型在静态场景重建中表现出色。然而，面对包含移动物体（如行人、车辆）的 动态 4D 场景 时，这些模 型的性能往往显著下降。动态物体的运动不仅干扰背景几何建模，还会导致严重的相机位姿漂移。 现有的解决方案通常面临两类挑战： VGG ...