VGGT4D团队 投稿 量子位 | 公众号 QbitAI 如何让针对静态场景训练的3D基础模型 （3D Foundation Models） ，在不增加训练成本的前提下，具备处理动态4D场景的能力？ 来自 香港科技大学（广州）与地平线（Horizon Robotics） 的研究团队提出了 VGGT4D 。该工作通过深入分析Visual Geometry Transformer （VGGT） 的内部机制，发现并利用了隐藏在注意力层中的运动线索。 VGGT4D的核心设想：能否在不进行额外训练的前提下，直接从预训练的3D基础模型中挖掘出4D感知能力？ 作为一种 无需训练 （Training-free） 的框架，VGGT4D在动态物体分割、相机位姿估计及长序列4D重建等任务上均取得了优异性能。 从3D迈向4D的挑战 近年来，以VGGT、DUSt3R为代表的3D基础模型在静态场景重建中表现出色。然而，面对包含移动物体 （如行人、车辆） 的 动态4D场景 时，这些模型的性能往往显著下降。动态物体的运动不仅干扰背景几何建模，还会导致严重的相机位姿漂移。 现有的解决方案通常面临两类挑战： 计算或训练成本高： 依赖繁重的测试时 ...

如何让针对静态场景训练的 3D 基础模型（3D Foundation Models）在不增加训练成本的前提下，具备处理动态 4D 场景的能力？ 来自香港科技大学（广州）与地平线 (Horizon Robotics) 的研究团队提出了 VGGT4D。该工作通过深入分析 Visual Geometry Transformer (VGGT) 的 内部机制，发现并利用了隐藏在注意力层中的运动线索。 作为一种无需训练 (Training-free) 的框架，VGGT4D 在动态物体分割、相机位姿估计及长序列 4D 重建等任务上均取得了优异性能。 论文标题: VGGT4D: Mining Motion Cues in Visual Geometry Transformers for 4D Scene Reconstruction 研究背景 近年来，以 VGGT、DUSt3R 为代表的 3D 基础模型在静态场景重建中表现出色。然而，面对包含移动物体（如行人、车辆）的 动态 4D 场景 时，这些模 型的性能往往显著下降。动态物体的运动不仅干扰背景几何建模，还会导致严重的相机位姿漂移。 现有的解决方案通常面临两类挑战： VGG ...