AI图像与视频编辑
Search documents
AI精准编辑门槛大降:开源框架提升编辑一致性,即插即用
量子位· 2026-01-08 11:07
ProEdit团队 投稿 量子位 | 公众号 QbitAI 想给照片里的猫换个颜色,结果总是编辑失败?想让视频里的人换件衣服,人脸却糊成一片或完全改变? 近日,来自中山大学iSEE实验室、香港中文大学MM Lab、新加坡南洋理工大学、香港大学的研究团队发布了最新研究成果 ProEdit 。 该方法通过对注意力机制和初始噪声潜在分布的"精准手术",实现了超高精度的图像与视频编辑,且完全无需训练、即插即用。 △ 图1. ProEdit在图像和视频编辑上与现有方法的对比 为什么AI编辑总是"改不动"? 目前,基于反演 (Inversion-based) 的编辑方法 (如RF-Solver、FireFlow) 通常采用全局注入策略: 为了保持背景尽量一致,它们 会将原图的大量信息强行"塞"进生成过程 。 在AI视觉编辑领域,如何在修改目标属性的同时,精准保留背景和非编辑属性的一致性,一直是个"鱼和熊掌"的难题。 但研究团队通过文本与图像的注意力可视化发现,这种做法存在严重的 "源图像信息过度注入" 问题: 注意力过度注入: 现有方法通过全局注入了过多的源图像注意力特征,导致模型更听源图像的话,而忽略了用户的编辑指令 ...