VScan团队 投稿 量子位 | 公众号 QbitAI 多图像、长视频、细粒度感知正在让大型视觉语言模型（LVLM）变得越来越聪明，但也越来越"吃不消"： 视觉Token数量的激增所带来的推理成本暴涨，正逐渐成为多模态智能扩展的最大算力瓶颈。 为解决这个问题， 腾讯AI Lab联合CMU 提出全新解决方案 VScan 。 该方法聚焦于大规模视觉语言模型推理阶段的效率瓶颈，通过精妙的两阶段视觉token筛选机制，在几乎不损性能的前提下，实现高达2.91x 的推理加速。无需修改模型架构、无需重新训练， 兼容FlashAttention， VScan为业界提供了一种轻量、通用、即插即用的推理加速方案。 为了处理更复杂、更丰富的视觉输入，现有LVLM往往需要编码远超文本Token规模的视觉信息。例如，LLaVA-NeXT在处理高分辨率图像时 会引入多达2,880个视觉Token，而Qwen2.5-VL在应对多图像或视频输入时，甚至能处理高达16,384个视觉Token——这一规模已远远超过 传统语言模型所处理的输入长度。 随着Token数量的激增，输入序列随之拉长，而自注意力机制的计算复杂度呈平方增长，这使得推理阶段 ...

作者 | 笑渐不闻声渐悄 编辑 | 自动驾驶之心 原文链接： https://zhuanlan.zhihu.com/p/1918033580103282744 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >>点击进入→ 自动驾驶之心 『求职招聘』技术交流群 本文只做学术分享，如有侵权，联系删文 热乎出炉，刚面完Nvidia TRTLLM。本人bg是做llm推理加速的，主要在做speculative decoding，也 有一篇文章中了ICLR 2025。因为想继续做推理加速，所以尝试性的面了一下Nvidia，看能不能积累 connection。首先得吐槽一下这个面试机制：4位面试官一人面了我一个小时，整整连续面了4个小 时，面完感觉就是一个虚弱无力...然后简单聊一聊面试的问题 第一位面试官：自我介绍，讲一下自己的iclr 25关于spec的工作。面试官问的比较细致，从方法的 设置到evaluation都问到了，然后简单讲了一下自己nips 23的科研工作。感觉面试官对我的科研经 历还是比较满意，随后出了一道coding：n位数字插入任意数量的+，最后 ...

大学毕业就去了阿里，两年升两级，火速成长，很快成为部门的技术骨干。但随着业务的逐渐深入，他开始意识到，自己似乎太快就触碰到了在大厂的天 花板，有种束手束脚的感觉。 在大厂做 Infra 的成泽毅，最开始并没有创业的打算。 对于技术人来说，相比较于安稳，更追求的是证明自己的价值，寻找更好发挥自己能力的地方。 随后他开始不断地验证，自己的技术究竟是否有用？大厂之外还有没有他发挥的空间？会不会有人想要花钱购买自己的技术？ 去创业公司是一种选择，他先后加入了两家推理加速初创公司。但创业公司对于商业路线的不确定，以及「等待」市场和客户需求的心态，又让成泽毅感 受到了另外一种束缚。 最终， 依靠一个人完成的 10 万行代码的推理引擎，开始了自己的创业 ——WaveSpeedAI，一家为图片、视频生成提供推理加速的 AI Infra 创业公司。 25 年 2 月产品上线，3 月实现营收 5 万美元，4 月营收翻倍并开始盈利。预计年底可达千万美元。客户包括 Freepik、Replicate 等全球头部客户。融资方 面，在 2025 年 4 月完成了数百万美元的天使轮融资。 在成泽毅看来，当下的 infra 能够创造更大的价 ...

在当前大模型推理愈发复杂的时代，如何快速、高效地产生超长文本，成为了模型部署与优化中的一大核心挑战。随着 GPT-o3, DeepSeek R1 等具备 「超级上下文 窗口 」 能力的大模型持续刷新业界记录，百万甚至千万 Token 级别的推理任务已从研究话题迈入现实场景。然而，生成这些超长文本的背后，却隐藏着令人咋舌 的计算成本 —— 长时间的等待、巨大的内存负担以及偶尔重复乏味的输出，严重制约了这些模型的真正潜力。 面对这一挑战，BIGAI NLCo 团队提出了一项全新的推理加速框架 —— TokenSwift ，该工作已成功被 ICML 2025 正式接收！在这项研究中提出了一套可插拔、无 损、高效的生成加速策略，专为 100K Token 级别的长文本推理而设计。在保持原始模型输出一致性的前提下， 加速比达到 3 倍以上 ，极大提升了推理效率。 重新定义超长生成：为什么传统方法 「慢 」？ 为了更好地理解 TokenSwift 的意义，我们先看一下目前主流大模型（如 LLaMA、Qwen 等）在长文本生成中的瓶颈所在。 尽管这些模型具备了强大的生成长上下文的能力，但大多数依然采用传统的自回归 （Aut ...

本文由华东师范大学和小红书联合完成，共同第一作者是华东师范大学在读硕士、小红书 NLP 团队实习生黄文轩和翟子杰，通讯作者是小红书 NLP 团队负责人 曹绍升，以及华东师范大学林绍辉研究员。 多模态大模型（MLLMs）在视觉理解与推理等领域取得了显著成就。然而，随着解码（decoding）阶段不断生成新的 token，推理过程的计算复杂度和 GPU 显存 占用逐渐增加，这导致了多模态大模型推理效率的降低。现有的方法通过减少预填充（prefill）阶段的视觉 token 冗余来实现推理加速。遗憾的是，这种在预填充 阶段实现的视觉 token 稀疏化所带来的加速优势，在解码阶段会逐渐减弱。当解码输出的文本 token 数量增多时，这些方法仍然会遇到性能瓶颈。 为了解决上述问题，团队创新性地提出了一个全新的动态视觉 - 文本上下文稀疏化推理加速框架 ——Dynamic-LLaVA。该框架针对多模态大模型在不同推理模式 下（包括预填充阶段以及有无 KV Cache 的解码阶段），设计了定制化的稀疏化推理方案，以实现多模态大模型的高效推理。实验结果表明，Dynamic-LLaVA 在 几乎不损失视觉理解和生成能力的前提 ...