FlowDirector

Search documents
单卡4090也能高质量视频编辑!西湖AGI Lab无训练框架FlowDirector来了
机器之心· 2025-06-14 04:12
第一作者是来自中南大学软件工程的本科生李光照,通讯作者为来自西湖大学 AGI 实验室的助理教授张驰。本文工作是李光照在西湖大学 AGI 实验室访问时完 成。 视频的生成与编辑往往有着较高的门槛,新手往往会被视频工作中各种复杂的工作流劝退。随着人工智能技术的发展,AIGC 视频编辑简化了这种复杂的工作流 程,只需在输入框里敲下一句自然语言,就能让原视频在几分钟内蜕变成全新画面。然而,当前的视频编辑方法通常采用非常复杂的策略来维持编辑前后无关的 事物保持一致,这带来了很多不必要的开销,尤其是计算资源的消耗,且仍会对无关区域造成严重的干扰,同时也会抑制主体对象的编辑效果,使得产生用户难 以接受的效果。 为解决上述困境,西湖大学 AGI Lab 团队提出了 FlowDirector:一种全新的无需训练的视频编辑框架 。FlowDirector 在视频 "流匹配"(Flow Matching)范式下进 行,可以将任意基于流的视频生成模型改造成有效的视频编辑工具,而无需任何的重新训练。相较于其他视频编辑方法,FlowDirector: 1. 质量更高:FlowDirector 可以进行更加彻底的对象编辑,允许产生大幅度形 ...
SOTA级视频编辑新方法:无需训练一句话编辑视频,背景保持100%
量子位· 2025-06-10 05:16
FlowDirector团队 投稿 量子位 | 公众号 QbitAI 传统的视频编辑工作流,正在被AI彻底重塑。 开销低:FlowDirector无反演过程,不需要存储任何额外的控制信息(如Attention Map),单卡4090就可实现高质量视频编辑。 支持广泛:除可进行传统的对象替换外,FlowDirector可以任意的添加、删除视频中的内容,以及进行一系列的纹理替换。 背景100%保持:通过对非编辑区域的"动力"进行冻结,使得编辑后的视频在无关区域与原视频完全保持一致。 方法:针对视频编辑中的「反演痛点」 现在的通用视频编辑方法大多基于反演-去噪(inversion-denosiong)范式: AI的视频编辑方法总是存在一些问题:例如视频运动不连贯、编辑后的视频产生意外变化等……经过分析,这些问题的产生最终大都指向同一 原因—— 反演-编辑范式 。 因此, 西湖大学AGILab 提出了一种全新的无需反演和训练的视频编辑新方法: FlowDirector 。 相较于其他视频编辑方法,FlowDirector有以下方面值得关注: 编辑结果展示: 这种范式带来了许多问题:反演过程中的错误会不断的累计,使得得 ...