蒸馏

Search documents
VLA 推理新范式!一致性模型 CEED-VLA 实现四倍加速!
机器之心· 2025-07-13 04:58
本文第一作者为香港科技大学(广州)机器人系一年级博士生宋文轩,主要研究方向为VLA模型,共同第一作者是来自香港科技大学广州的研究助理陈家毅,项 目leader为浙江大学和西湖大学联合培养博士生丁鹏翔,他们也是具身智能领域开源项目OpenHelix以及LLaVA-VLA的研究团队。通讯作者为香港科技大学广州 的李昊昂教授, 他是今年的CVPR2025 Best Paper Candidate的获得者。 针对这一问题,部分研究提出采用 Jacobi 解码替代传统的自回归解码,以期提升推理效率。然而,由于 Jacobi 解码往往需要较多迭代次数,其加速效果在实践中 较为有限。 为此,我们提出了一种 一致性蒸馏训练(consistency distillation training)策略 ,使模型在每次迭代中能够同时预测多个正确的动作 token,从而实现解码加速。 同时,我们设计了混合标签监督机制(mixed-label supervision),用于缓解蒸馏过程中可能产生的误差积累问题。 尽管上述方法带来了可接受的加速效果,我们进一步观察到:Jacobi 解码中仍存在若干低效迭代步骤,成为限制整体效率的关键瓶颈。 ...
美国至7月4日当周EIA蒸馏燃油产量引伸需求数据 525.29万桶/日,前值539.63万桶/日。
news flash· 2025-07-09 14:34
美国至7月4日当周EIA蒸馏燃油产量引伸需求数据 525.29万桶/日,前值539.63万桶/日。 ...
美国至6月20日当周EIA蒸馏燃油产量引伸需求数据 544.29万桶/日,前值505.36万桶/日。
news flash· 2025-06-25 14:37
美国至6月20日当周EIA蒸馏燃油产量引伸需求数据 544.29万桶/日,前值505.36万桶/日。 ...
暗蓝评《雅各布之书》|照亮历史,然后治愈世人
Xin Lang Cai Jing· 2025-06-23 03:42
《雅各布之书》,[波兰]奥尔加·托卡尔丘克著,乌兰、李江颐、李佳译,浙江文艺出版社,2024年11月出版,1038页,168.00元 在发表于1961年的短篇小说《加略人犹大的故事》中,陈映真对人们耳熟能详的《圣经》典故进行了创造性改写。在他笔下,犹大成了一位颇有 远见的革命者(日后陈映真表示,他曾想把犹大写成一个"一个改造者,一个解放的人",只是怕父亲看到难过才作罢,见吴舒洁,《左翼的信仰 之难──读陈映真〈加略人犹大的故事〉》,《中国现代文学》2015年第十二期,31-48页),早在耶稣到来之前便意识到犹太复国主义即便成功也 是枉然,"罗马人的担子,罗马人的轭一旦除去又如何呢?因你们将代替他们成为全以色列人的担子和轭。……你们一心想除去那逼迫你们的,为 的是想夺回权柄好去逼迫自己的百姓吗?"(陈映真:《将军族》,九州出版社,2020年,96页)于是即便等到耶稣果真到来,犹大依然保持着警 惕,哪怕见识了他的魅力也极力克制仰慕之情。而他最终也的确发现了耶稣的"破绽",那便是当耶稣不顾危险进入耶路撒冷,立即受到了以色列 人的热烈欢迎,然而耶稣并未就此"揭竿而起",反而任由圣城在热闹过后复归沉寂。"自从那次荣耀的 ...
美国至6月13日当周EIA蒸馏燃油产量引伸需求数据 505.36万桶/日,前值482.3万桶/日。
news flash· 2025-06-18 14:36
美国至6月13日当周EIA蒸馏燃油产量引伸需求数据 505.36万桶/日,前值482.3万桶/日。 ...
我在618主场,和3位顶尖技术博士聊了聊
量子位· 2025-06-18 07:49
How time flies!又到了一年一度的618。 衡宇 发自 凹非寺 量子位 | 公众号 QbitAI 今年你下单了吗?抢到心仪的商品了吗?快递收得顺利不?血拼了大半个月的我有一个最大的体会,就是今年的618还是那么热闹,但有些东 西变了。 你可能也注意到这些变化—— 商 品推荐越来越命中心趴,物流越来越快,甚至智能外呼、客服机器人,也越来越像个真人了。 技术不是"内卷""压榨"或"花样叙事"的工具,而是切实服务着美好生活。 体验更好,出错更少,意味着背后的技术进步得更多,也越能说明有人在背后顶住了压力。 618是京东的生日,也是京东首次以线上促销形式庆祝这一日期,推出了618年中促销活动,通过限时秒杀等简单玩法吸引消费者。 一眨眼,我们已经在这个特别的时间点买买买了二十多年。 趁着这个节点,今年,我们 找来了三位分别来自京东零售、物流、科技业务的技术人,聊了聊他们在幕后做的事 。 长林丨零售:不是造一个新模型,而是让模型用得起、落得下 大家在京东选购商品时可能会留意到,不同商家架上的同类商品会自动被归在一起,方便大家快速对比选购性价比高的商品,商家也会被激励 提供更具竞争力的价格和服务。 这背后其实是 ...
每秒生成超30帧视频,支持实时交互!自回归视频生成新框架刷新生成效率
量子位· 2025-06-12 01:37
NFD团队 投稿 量子位 | 公众号 QbitAI 在A100上用310M模型,实现 每秒超30帧 自回归视频生成,同时画面还保持高质量! 视频生成现在都快这个程度了? 最近,来自微软研究院的团队与北大联合发布新框架—— Next-Frame Diffusion (NFD) 。 通过实现帧内并行采样,帧间自回归的方式,NFD让视频生成在保持较高生成质量的同时,生成效率大幅提升。 或许不久之后的游戏,就是玩家直接跟模型交互打游戏了,无需通过传统的游戏引擎。 比如在《我的世界》中,下面每个视频在NVIDIA A100 GPU上生成 只需约 0.48秒 。 玩家在黑暗的走廊中不断前进: 玩家在攻击小动物后转动视角: 玩家跳跃后放置木块: 玩家跳上草地: 如今,NFD让生成速度又快了几倍。 玩家不停地放置石块: 值得一提的是,前段时间在X上火了的一款基于Minecraft的交互式自回归世界模型—— MineWorld ,也是这个微软研究院的团队做的。 它能够以每秒4-7帧的速度和模型进行交互。 为进一步提高生成效率,研究人员进一步通过以下技术来减少推理时的总采样次数: 引入块状因果注意力机制的Transformer ...
美国至6月6日当周EIA蒸馏燃油产量引伸需求数据 482.3万桶/日,前值455.57万桶/日。
news flash· 2025-06-11 14:33
美国至6月6日当周EIA蒸馏燃油产量引伸需求数据 482.3万桶/日,前值455.57万桶/日。 ...
ICML Spotlight 2025丨追求概率质量的帕累托最优:基于广义α-β散度引导的知识蒸馏框架ABKD
机器之心· 2025-06-09 04:11AI Processing
美国至5月30日当周EIA蒸馏燃油产量引伸需求数据 455.57万桶/日,前值502.94万桶/日。
news flash· 2025-06-04 14:34
美国至5月30日当周EIA蒸馏燃油产量引伸需求数据 455.57万桶/日,前值502.94万桶/日。 ...