一张图生成任意场景3D模型，部分遮挡也不怕｜IDEA x 光影焕像联合开源

SceneMaker团队 投稿 量子位 | 公众号 QbitAI 当前3D生成技术深陷"半开放"窘境：模型能打造精美的样板间，却对真实世界中千变万化的物体与场景表现不稳定。 IDEA研究院张磊团队与香港科技大学谭平团队联合推出 SceneMaker 框架，有望攻克这一问题。 它以视启未来的万物检测模型DINO-X与光影焕像的万物3D生成模型Triverse为基础， 实现了 从任意开放世界图像（室内/室外/合成图等） 到带Mesh的3D场景 的完整重建 。 它不仅解决了严重遮挡下的几何质量衰退难题，更具备 文本指令可控的去遮挡能力 ，为真实世界感知与建模 （Real-to-Sim） 带来了关键 突破。 △ 视频1：通过3D场景生成技术生产的开放世界场景 一、3D场景生成的"室内魔咒" 如何让计算机感知和建模真实世界 （Real-to-Sim） 一直是人工智能领域的核心挑战，而3D场景生成正是这一挑战中的关键任务之一。 该任务旨在从输入的场景图像中恢复完整的三维结构：模型需要生成 开放世界下任意场景 中各个物体的显式三维几何表示 （如mesh） ，同 时估计其在空间中的位姿信息，最终重构出可交互、可编辑的3D场景 ...