谢赛宁团队新作：不用提示词精准实现3D画面控制

henry 发自 凹非寺 量子位 | 公众号 QbitAI 曾几何时，用文字生成图像已经变得像用笔作画一样稀松平常。 但你有没有想过拖动方向键来控制画面？ 像这样，拖动方向键（或用鼠标拖动滑块）让画面里的物体左右移动： 还能旋转角度： 缩放大小： 这一神奇操作就来自于谢赛宁团队新发布的 Blender Fusion框架， 通过结合图形工具 (Blender) 与扩散模型，让视觉合成不再仅仅依赖 文本提示，实现了精准的画面控制与灵活操作。 图像合成三步走 BlenderFusion "按键生图" 的 核心并不在于模型自身的创新，而在于其对现有技术（分割、深度估计、Blender渲染、扩散模型）的高效 组合 ，打通了一套新的Pipeline 。 这套Pipeline包含三个步骤： 先将物体和场景分离 → 再用Blender做3D编辑 → 最后用扩散模型生成高质量合成图像。 接下来看看每一步都是怎么做的吧！ 第一步： 以物体为中心的分层。（Object-centric Layering） 第一步是将输入的图像或视频中的各个物体从原有的场景中分离，并推断出它们的三维信息。 具体来说，BlenderFusion利用现有 ...