本工作由第一作者在字节跳动智创北美团队实习期间完成。第一作者卞宇轩目前为香港中文大学计算机科学与工程系博士二年级学生，研究方向为可控视频生 成，师从徐强教授，并曾在字节跳动、腾讯等公司实习。个人主页：https://yxbian23.github.io/ 视频创作中，你是否曾希望复刻变成 Labubu 的特效，重现吉卜力风格化，跳出短视频平台爆火的同款舞蹈，或模仿复杂有趣的希区柯克运镜？ 在现在的 AI 视频生成中，这些依赖抽象语义控制的创作，因缺乏统一的条件表征，实现起来往往异常困难。 最基础和直接的想法是针对每一种抽象语义单独训练 LoRA 或针对某一类语义条件设计专门的模型架构完成针对性的特征提取和可控生成。 然而，语义条件可能无穷无尽，一个条件训练一个模型会导致实际使用非常复杂，计算消耗非常庞大，且面对未曾训练的其他语义条件，模型没有任何泛化性 能；针对某一类语义设计模型架构一定程度上在单独子集解决了这个问题（例如：相机控制，风格迁移），但面对着不同语义类别，仍需要不断切换模型，其任 务专一的设计也无法完成不同语义类别的统一建模，阻碍了统一模型和模型规模化的进展。 为了解决这一痛点， 香港中文大学与字 ...