单卡4090也能高质量视频编辑！西湖AGI Lab无训练框架FlowDirector来了

第一作者是来自中南大学软件工程的本科生李光照，通讯作者为来自西湖大学 AGI 实验室的助理教授张驰。本文工作是李光照在西湖大学 AGI 实验室访问时完 成。 视频的生成与编辑往往有着较高的门槛，新手往往会被视频工作中各种复杂的工作流劝退。随着人工智能技术的发展，AIGC 视频编辑简化了这种复杂的工作流 程，只需在输入框里敲下一句自然语言，就能让原视频在几分钟内蜕变成全新画面。然而，当前的视频编辑方法通常采用非常复杂的策略来维持编辑前后无关的 事物保持一致，这带来了很多不必要的开销，尤其是计算资源的消耗，且仍会对无关区域造成严重的干扰，同时也会抑制主体对象的编辑效果，使得产生用户难 以接受的效果。 为解决上述困境，西湖大学 AGI Lab 团队提出了 FlowDirector：一种全新的无需训练的视频编辑框架 。FlowDirector 在视频 "流匹配"（Flow Matching）范式下进 行，可以将任意基于流的视频生成模型改造成有效的视频编辑工具，而无需任何的重新训练。相较于其他视频编辑方法，FlowDirector: 1. 质量更高：FlowDirector 可以进行更加彻底的对象编辑，允许产生大幅度形 ...