Workflow
上下文一致性解码算法(Coherent Contextual Decoding
icon
Search documents
告别「盲目自信」,CCD:扩散语言模型推理新SOTA
机器之心· 2025-12-13 01:13
对此, 华为小艺香港团队、香港城市大学及香港大学 的研究人员们共同提出了一种全新的 上下文一致性解码算法(Coherent Contextual Decoding, CCD) ,充分 利用扩散过程中的上下文增广,从理论上纠正了传统 DLM 推理策略的 "短视性",并进一步采用自适应解码方案在多种开源 DLMs 上同时实现了 3.48 倍的加速和 3.9% 的性能提升。该方案不仅适配 Any-oder 生成,且在半自回归 Block-wise 解码设定下也获得了提升,扩散语言模型的高效推理时代,或许已经到来。 研究背景 今年以来,以 Dream 和 LLaDA 为主的开源扩散语言模型大放异彩,实现了和同尺寸自回归 LLM 相当的通用能力,且展现出了 DLMs 在全局规划和双向上下文理 解任务上的优势 。 扩散语言模型(Diffusion Language Models)以其独特的 "全局规划" 与并行解码能力广为人知,成为 LLM 领域的全新范式之一。然而在 Any-order 解码模式下,其 通常面临推理速度较慢且生成逻辑不连贯等问题。 论文标题: Beyond Confidence: Adaptive an ...