计算机视觉与图形学
Search documents
NeurIPS 2025 | UniLumos: 引入物理反馈的统一图像视频重打光框架,实现20倍加速的真实光影重塑!
机器之心· 2025-11-24 09:30
图像与视频重光照(Relighting)技术在计算机视觉与图形学中备受关注,尤其在电影、游戏及增强现实等领域应用广泛。当前,基于扩散模型的方法能够 生成多样且可控的光照效果,但其优化过程通常依赖于语义空间,而语义上的相似性无法保证视觉空间中的物理合理性,导致生成结果常出现高光过曝、阴 影错位、遮挡关系错误等不合理现象。 针对上述问题,我们提出了 UniLumos,一个统一的图像与视频重光照框架。本工作的主要创新点主要为: 实验表明,UniLumos 在显著提升物理一致性的同时,其重光照质量也达到了当前 SOTA 水平,并且在计算效率上比现有方法提升约 20 倍,实现了高质 量与高效率的统一。 引入几何反馈以增强物理一致性: 为缓解物理不合理现象,我们在生成过程中引入了来自 RGB 空间的几何反馈(如深度图与法线图),使光照效果 与场景结构对齐,从而显著提升物理一致性。然而,该反馈机制依赖高质量输出作为视觉空间监督,而传统的流匹配多步去噪过程计算开销大。为 此,我们采用路径一致性学习,在少步训练条件下保持有效监督,同时大幅提升推理速度。 构建细粒度光影评估基准: 为实现对光影效果的细粒度控制与评估,我们设计了一 ...