Meta新突破！跨模态生成告别噪声：流匹配实现任意模态无缝流转

本文第一作者为刘启昊，约翰霍普金斯大学计算机科学博士四年级学生，师从 Alan Yuille 教授，研究方向涉及模型鲁棒性、生成模型与 3D 视觉。通讯作者为 Mannat Singh，Meta GenAI 研究员，近期的研究主要涉及视频生成领域创新工作，包括 Emu Video、MovieGen 等项目。 核心创新：从 "噪声到数据" 到 "模态到模态" 基于 Diffusion 或者流匹配的生成模型通常从高斯噪声出发，通过逐步去噪或优化路径生成目标数据。然而，对于噪声的依赖限制了这类算法的灵活性和潜能。 近期，不少工作在探索如何摆脱对噪声的依赖，比如使用基于薛定谔桥的生成模型。然而这些算法往往很复杂，并且依旧局限于相似模态之间的生成（比如人类 转猫脸等）。 而 CrossFlow 则深入分析了流匹配，并基于流匹配提出了一种非常简单跨模态生成新范式，可以直接在模态间进行映射，无需依赖噪声分布或额外条件机制。例 如，在文本到图像生成中，模型直接使用流匹配学习从文本语义空间到图像空间的映射，省去了复杂的跨注意力机制（Cross-Attention），仅通过自注意力即可实 现高效的文本到图像生成。 论文标题：Fl ...