CEED-VLA:实现VLA模型4倍推理加速,革命性一致性蒸馏与早退解码技术!
具身智能之心·2025-07-10 13:16
点击下方 卡片 ,关注" 具身智能 之心 "公众号 作者丨 Wenxuan Song等 编辑丨具身智能之心 本文只做学术分享,如有侵权,联系删文 >> 点击进入→ 具身智能之心 技术交流群 图 1:不同解码方法加速效果对比 Jacobi Trajectory Collection Method 更多干货,欢迎加入国内首个具身智能全栈学习社区 : 具身智能之心知识星球 (戳我) , 这里包含所有你想要的。 近年来,视觉语言模型(VLM)激发了视觉-语言-动作模型(VLA)的发展,它们可直接从视觉和语言输入中生成可执行动作。尽管这些模型在多任 务泛化上表现良好,但推理速度慢限制了其在高频灵巧任务中的应用。为此,研究者尝试使用Jacobi Decoding方法加速推理,然而由于模型训练时仅 见过正确的前缀输入,导致并行预测效果不佳。为此,本文提出了一种通用的加速方法——CEED-VLA,在保持操作性能的同时显著提升了推理速 度。具体而言,(1)我们设计了一种可广泛应用的推理加速方案 CEED-VLA,在多个任务中实现了显著的速度提升;(2)引入一致性蒸馏机制,并 在自回归损失中加入混合标签监督,使学生模型能够从不同 ...