闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 谁说扩散模型只能生成图像和视频？ 现在它们能高质量地写代码了，速度还比传统大模型更快！ Inception Labs推出基于 扩散技术 的全新商业级 大语言模型 —— Mercury 。 Mercury突破了自回归模型 "从左到右" 逐词生成的限制，采用 "从噪声到结构化输出" 的方式，能一次性预测所有方向的token，提高了生成 速度。 这样一来，Mercury还解决了自回归"一旦生成难以回头调整"的问题。 扩散模型并不是仅考虑前面已经生成的内容，它能在生成过程中进行 动态纠错修改 ，具有更大的灵活性。 Mercury用成熟的Transformer作为神经网络基础，结合扩散技术的 并行 生成能力，既保留了大模型的兼容性，又突破了自回归模型逐词生 成的速度限制。 尽管采用了扩散技术，Mercury模型系列仍保留了 Transformer 架构。 这确保了该模型能直接复用近年来为大语言模型开发的高效训练、推理优化技术（如低阶算子优化、超参数调优工具等）。 实测数据显示，面对相同的编程任务，Mercury的代码生成速度比传统工具最多快10倍，大幅缩短了开发周期 ...