Diffusion约2倍无损加速！训练-推理协同的缓存学习框架来了｜ HKUST&北航&商汤

HarmoniCa团队 投稿 量子位 | 公众号 QbitAI 面对扩散模型推理速度慢、成本高的问题， HKUST&北航&商汤 提出了全新缓存加速方案——HarmoniCa：训练-推理协同的特征缓存加速 框架，突破DiT架构在部署端的速度瓶颈，成功实现高性能无损加速。 △ HarmoniCa整体压缩框架 由于现有指标并不能完全反映图像效果优劣，因此该团队研究人员提供了大量可视化效果对比图， 更多对比请看原论文。 △ PIX A R T - 图 像 生 成 效 果 图 该 工 作 已 被IC M L 2 0 2 5 接 收 为 P o s t e r，并 开 源 项 目 代 码 。 前序时间步无感知： 训练阶段忽略缓存历史，推理时则高度依赖先前结果，二者逻辑断裂； 训练目标错位： 训练对准中间噪声误差，推理关注最终图像质量，优化方向南辕北辙； 这两大错配，导致已有缓存学习方法加速有限、图像失真明显。缓存机制的基本工作原理如下： △ 缓存机制 Diffusion 加速难在哪？ Diffusion Transformer（DiT）作为高分辨率图像生成主力架构，在推理阶段仍面临「重复计算多」「耗时严重」的现实瓶颈。例 ...