12秒生成1万token！谷歌推出文本「扩散模型」Gemini Diffusion，研究员：演示都得降速看

谷歌又放新大招了，将图像生成常用的"扩散技术"引入语言模型， 12秒能生成1万tokens 。 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 什么概念？不仅比Gemini 2.0 Flash-Lite更快。 甚至需要不得不在演示过程中 放慢 视频的速度，才能看清生成过程。 这是Google DeepMind推出 Gemini Diffusion ：不同于以往大多数语言模型"从左到右"预测文本的生成方式，而是 通过 逐步优化噪声来学习生成输出 。 传统的自回归模型是根据已生成的词序列 逐步预测下一个词 ，每次只能生成一个词或一个token，这种顺序过程很 慢，并且会限制输出的质量和一致性。 而扩散模型的特点则是通过 逐步细化噪声学习生成 ，这种特点会大大提高生成速度，并且减少训练的不确定性。 与以往大多数基于自回归的语言模型不同，Gemini Diffusion在 语言模型中引入了"扩散"技术 ，它不是直接预测文 本，而是通过 逐步细化噪声来学习生成输出 。 这种技术能够让模型在生成过程中 快速迭代 ，并在生成过程中进行 错误纠正 。 Gemini Diffusion就是利用了扩散模型这一优势，将文本生 ...