布局控制+身份一致:浙大提出ContextGen,实现布局锚定多实例生成新SOTA
机器之心·2025-12-20 04:45
随着扩散模型(Diffusion Models)的迭代演进,图像生成已经日臻成熟。然而,在 多实例图像生成(Multi-Instance Image Generation, MIG) 这一有着大量用户 场景的关键领域,现有的方法仍面临核心瓶颈:如何同时实现对多个对象的 空间布局控 制(Layo ut Control)以及身份特征的良好保持(Identity Preservation) 主流方法往往无法做到两全其美:依赖文本和布局引导(Layout-to-Image)的模型往往难以实现高度的实例定制化,且实例遗漏、属性泄露的问题时有发生;而主 流的主体驱动(Subject-driven)方法在主体数量增加时,面临着严重的身份混淆和细节丢失的问题。 。 ContextGen 与主流 SOTA 的对比示例,以及 ContextGen 的使用例 为解决这一制约高度定制化图像生成的难题, 浙江大学 ReLER 团队发布 ContextGen ,一个新型的基于 Diffusion Transformer (DiT) 的框架,旨在通过上下文学 习,可靠地完成图像引导的多实例生成任务! ContextGen 提出了全新的上下 ...