白交 发自 凹非寺 量子位 | 公众号 QbitAI 何恺明等团队新作新鲜出炉，再次大道至简—— 他们引入平均速度，实现「一步生成」新SOTA。 CMU博士生耿正阳一作，何恺明的学生邓明扬、白行健参与。 他们提出的模型是从头开始训练的，没有任何预训练、蒸馏或课程学习，最终实现了3.43的FID值，明显优于之前最先进的一步扩散/流模型。 一步生成框架：引入平均速度 一次生成模型，指的是只需一步计算就产生高质量的结果，而无需多次迭代。 团队提出了一个原则性强且有效的单步生成框架MeanFlow。其核心思想是引入平均速度的概念来表征流场，这与流匹配方法所模拟的瞬时速 度截然不同。 △ 流匹配的速度场，瞬时速度 平均速度被定义为位移与时间间隔的比率，位移由瞬时速度的时间积分给出。 根据这一定义，这说明平均速度和瞬时速度之间定义明确的内在联系，这自然成为指导网络训练的原则基础。 我们的方法被称为MeanFlow模型，它自成一体，无需预先训练、提炼或课程学习。 演示1：通过jvp计算只需要一次后向传递，类似于神经网络中的标准反向传播，开销不到总训练时间的20%。 它在从零开始训练的ImageNet 256×256上通过1 ...

机器之心报道 基于这一基本概念，本文训练了一个神经网络来直接建模平均速度场，并引入损失函数来奖励网络满足平均速度和瞬时速度之间的内在关系。 本文进一步证明，该框架可以自然地整合无分类器引导（CFG），并且在采样时无需额外成本。 MeanFlow 在单步生成建模中表现出了强大的性能。在 ImageNet 256×256 数据集上，仅使用 1-NFE（Number of Function Evaluations）就达到了 3.43 的 FID 分数。 这一结果显著优于之前同类方法的最佳水平，相对性能提升达到 50% 到 70%（见图 1）。 编辑：陈萍 这段时间，大神何恺明真是接连不断地发布新研究。 这不，5 月 19 日，他又放出一篇新作！作者团队来自 CMU 以及 MIT。 文章提出了一种名为 MeanFlow 的单步生成建模框架，通过引入平均速度（average velocity）的概念来改进现有的流匹配方法，并在 ImageNet 256×256 数据集上取 得了显著优于以往单步扩散 / 流模型的结果，FID 分数达到 3.43，且无需预训练、蒸馏或课程学习。 生成模型旨在将先验分布转换为数据分布。流匹配 ...