背景 | 基于似然的生成模型 近年来，扩散模型（Diffusion Models）和自回归模型（Autoregressive Models）在图像生成中占据 主导地位，如 NVIDIA 的 EDM 系列扩散模型和字节跳动以 VAR 为代表的视觉自回归模型。相比 GAN（Generative Adversarial Networks）这类直接优化数据生成过程的隐式生成模型，扩散模型和 自回归模型均属于 基于似然的生成模型 （Likelihood-Based Generative Model），它们显式估计数 据的对数似然（log-likelihood），具有 训练稳定、样本多样性强、容易规模化的特点 。 文章一作郑凯文为清华大学三年级博士生，研究方向为深度生成模型，曾提出流式扩散模型最大似然估 计改进技术 i-DODE，扩散模型高效采样器 DPM-Solver-v3，扩散桥模型采样器 DBIM 以及掩码式 离散扩散模型采样器 FHS 等。 清华大学朱军教授团队与 NVIDIA Deep Imagination 研究组联合提出一种全新的视觉生成模型优化范 式 —— 直接判别优化（DDO）。该方法将基于似然的生成模 ...

本工作来自北京大学智能学院贺笛老师课题组与蚂蚁集团武威团队。贺笛老师在机器学习领域获得过多项荣誉，包括 ICLR 2023 杰出论文奖与 ICLR 2024 杰出论 文奖提名。 扩散模型近年来在图像生成领域取得了令人瞩目的成就，其生成图像的质量和多样性令人惊叹。这自然引发了人们的思考：这种强大的生成范式能否迁移到文本 领域，挑战甚至取代目前主流的自回归语言模型？扩散语言模型（Diffusion Language Models）凭借其并行生成多个词元的潜力，似乎预示着文本生成领域的一场 效率革命。然而，这一前景是否真的如此美好？ 来自北京大学和蚂蚁集团的最新研究表明，答案远非简单的 "是" 或 "否"，在某些关键场景下，结论甚至可能恰 恰相反。 | Guhao Feng* | Yihan Geng* | Jian Guan | Wei Wu | Liwei Wang | | --- | --- | --- | --- | --- | | Peking University | Peking University | Ant Group | Ant Group | Peking University | 论文标题 ...