为解决场景生成与重建之间的这一困境，南开大学&小米汽车的团队提出了WorldSplat——一种用于4D驾驶场景生成的全新前馈式框架。该方法通过两 个关键步骤高效生成具有一致性的多轨迹视频：（1）引入融合多模态信息的4D感知潜在扩散模型，以前馈方式生成像素对齐的4D高斯分布；（2）利 用增强型视频扩散模型，对基于这些高斯分布渲染的新视角视频进行优化。在基准数据集上开展的大量实验表明，WorldSplat能够有效生成高保真、具 备时空一致性的多轨迹新视角驾驶视频。 让我们先来看两段视频： 世界模型自提出以来，一直被视为理解世界更本质的一种方式，因此获得了非常广泛的研究。世界模型是一种生成式的方法，但在自动驾驶的场景理解 中，纯生成的方法一直没有得到广泛的应用。 现有生成的方法主要聚焦于生成多样化、真实的的驾驶视频；然而由于3D一致性有限且视角覆盖稀疏，这些方法难以支持便捷、高质量的新视角合 成。与之相反，近年来的3D/4D重建方法虽大幅提升了真实驾驶场景的重建效果，却天生缺乏生成新视角能力。 所以一种可能的方式是利用生成+重建结合的形式，来建模自动驾驶场景。 3DGS用于重建原始场景，生成方法用于优化新视角，两者 ...