机器之心发布 机器之心编辑部 视频是信息密度最高、情感表达最丰富的媒介之一，高度还原现实的复杂性与细节。正因如此，视频也是编辑难度最高的一类数字内容。在传统的视频编辑流程 中，若要调整或替换主体、场景、色彩或是移除一个物体，往往意味着无数帧的手动标注、遮罩绘制和精细调色。即使是经验丰富的后期团队，也很难在复杂场 景中保持编辑内容的时间一致性。 近年来，生成式 AI 尤其是扩散模型与多模态大模型的快速迭代，为视频编辑带来了全新的解题思路。从早期基于规则的特效工具，到目标识别与自动分割，再到 基于文本指令的视频生成与重绘，尽管 AI 已经为视频编辑带来了效率与可控性的双重提升，但在精度要求较高的场景中仍存在一系列挑战，例如当前很多零样本 方法在处理连续视频帧时容易造成画面闪烁；对于背景复杂或多目标场景，可能会出现错位、模糊或语义偏差。 针对于此，北京大学相机智能实验室（施柏鑫团队）联合 OpenBayes贝式计算，以及北京邮电大学人工智能学院模式识别实验室李思副教授团队，共同提出了一种 结合草图与文本引导的视频实例重绘方法 VIRES，支持对视频主体的重绘、替换、生成与移除等多种编辑操作。该方法利用文本生成视频模 ...

第一作者是来自中南大学软件工程的本科生李光照，通讯作者为来自西湖大学 AGI 实验室的助理教授张驰。本文工作是李光照在西湖大学 AGI 实验室访问时完 成。 视频的生成与编辑往往有着较高的门槛，新手往往会被视频工作中各种复杂的工作流劝退。随着人工智能技术的发展，AIGC 视频编辑简化了这种复杂的工作流 程，只需在输入框里敲下一句自然语言，就能让原视频在几分钟内蜕变成全新画面。然而，当前的视频编辑方法通常采用非常复杂的策略来维持编辑前后无关的 事物保持一致，这带来了很多不必要的开销，尤其是计算资源的消耗，且仍会对无关区域造成严重的干扰，同时也会抑制主体对象的编辑效果，使得产生用户难 以接受的效果。 为解决上述困境，西湖大学 AGI Lab 团队提出了 FlowDirector：一种全新的无需训练的视频编辑框架 。FlowDirector 在视频 "流匹配"（Flow Matching）范式下进 行，可以将任意基于流的视频生成模型改造成有效的视频编辑工具，而无需任何的重新训练。相较于其他视频编辑方法，FlowDirector: 1. 质量更高：FlowDirector 可以进行更加彻底的对象编辑，允许产生大幅度形 ...

FlowDirector团队 投稿 量子位 | 公众号 QbitAI 传统的视频编辑工作流，正在被AI彻底重塑。 开销低：FlowDirector无反演过程，不需要存储任何额外的控制信息(如Attention Map)，单卡4090就可实现高质量视频编辑。 支持广泛：除可进行传统的对象替换外，FlowDirector可以任意的添加、删除视频中的内容，以及进行一系列的纹理替换。 背景100%保持：通过对非编辑区域的"动力"进行冻结，使得编辑后的视频在无关区域与原视频完全保持一致。 方法：针对视频编辑中的「反演痛点」 现在的通用视频编辑方法大多基于反演-去噪（inversion-denosiong）范式: AI的视频编辑方法总是存在一些问题：例如视频运动不连贯、编辑后的视频产生意外变化等……经过分析，这些问题的产生最终大都指向同一 原因—— 反演-编辑范式 。 因此， 西湖大学AGILab 提出了一种全新的无需反演和训练的视频编辑新方法： FlowDirector 。 相较于其他视频编辑方法，FlowDirector有以下方面值得关注： 编辑结果展示： 这种范式带来了许多问题：反演过程中的错误会不断的累计，使得得 ...