多模态扩散模型开始爆发，这次是高速可控还能学习推理的LaViDa

机器之心报道 编辑：Panda 近段时间，已经出现了不少基于扩散模型的语言模型，而现在，基于扩散模型的视觉-语言模型（VLM）也来了，即能够联合处理视觉和文本信息的模型。今天我 们介绍的这个名叫 LaViDa ，继承了扩散语言模型高速且可控的优点，并在实验中取得了相当不错的表现。 现目前，几乎所有流行的 VLM 都是基于大型语言模型（LLM）构建的，而这些模型采用的范式是自回归（AR），即按照从左到右的顺序逐一生成 token。 例如，生成一首每行都以特定音节开头的诗歌，或从预定义 JSON 格式的图像中提取结构化信息 —— 这些任务通常需要模型填充或协调整个序列中的内容。即使 使用精心设计的提示词和演示，自回归模型仍然难以稳定地满足此类约束。 近段时间，离散的扩散模型（DM）开始崛起，甚至被许多人认为是自回归 LLM 的一种有力替代，比如我们曾报道过的 首个 8B 扩散大语言模型 LLaDA 、 扩散 推理模型 Dream 7B 以及 首个商业级扩散 LLM Mercury 。 不同于自回归 LLM，扩散模型是将文本生成视为在离散 token 上的扩散过程。会有一个前向过程逐渐将离散文本 token 序列退 ...