Workflow
大一统模型
icon
Search documents
Diffusion 一定比自回归更有机会实现大一统吗?
机器之心· 2025-08-31 01:30
机器之心PRO · 会员通讯 Week 35 --- 本周为您解读 ③ 个值得细品的 AI & Robotics 业内要事 --- 1. Diffusion 一定比自回归更有机会实现大一统吗? 有哪些工作认为 Diffusion 有望取代主流的 AR 架构?Diffusion 做大一统有何理论基础?为什么 Diffusion 的并行生成理论上更高效,但还是比 AR 慢?是什么解锁了 DLM 的文本推理能 力?近期工作挖掘了 DLM 的哪些潜力? ... 2. 合成数据的「毒」与「药」,模型崩溃有何新解? 本期通讯总计 26113 字,可免费试读至 7% 消耗 288 微信豆可兑换完整本期解读(约合人民币 28.8 元) 合成数据为什么会在迭代训练中逐代污染训练集?模型在早期和晚期崩溃表现出了怎样的差异?不同类型生成模型(LLM、VAE、GMM)崩溃机制有何共性和差异?合成数据在预训练、微 调、后训练、评估各阶段分别发挥了哪些功能?在什么情况下会反而降低模型性能?「Token-Level Editing」、「黄金比例混合」和「递归训练样本控制」等方法各自解决了崩溃问题的哪一 环?在实际训练中,如何量化「合成数据 ...