字节Seed发布扩散语言模型，推理速度达2146 tokens/s，比同规模自回归快5.4倍

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 用 扩散模型 写代码，不仅像开了倍速，改起来还特别灵活！ 字节Seed最新发布扩散语言模型 Seed Diffusion Preview ，这款模型主要聚焦于代码生成领域，它的特别之处在于采用了离散状态扩散技 术，在推理速度上表现出色。 在H20上，它的代码推理速度能达到 2146tokens/s ，比同类的Mercury和Gemini Diffusion等模型快不少，同时 比同等规模的自回归模型 快5.4倍 ，并且在代码编辑任务中更具优势。 Seed Diffusion Preview以 结构化的代码生成 为实验领域，系统性地验证离散扩散技术路线作为下一代语言模型基础框架的可行性。 下面介绍它的具体技术细节。 核心是两阶段训练学习 自回归模型存在串行解码延迟瓶颈，理论上，扩散模型的并行生成潜力和整体性生成的优势可以解决自回归模型推理速度局限这一痛点。 但理论优势与实际效果还是有差距，离散扩散模型在语言任务中的大规模部署仍面临两大核心瓶颈： 归纳偏置冲突 和 推理效率瓶 颈 。 为解决上述问题，Seed Diffusion Preview采用了四项关键的技 ...