本文第一作者魏熙林，复旦大学计算机科学技术学院人工智能方向博士生，研究方向是多模态大模型、高效长上下文；目前在上海人工智能实验室实习，指导 mentor 是臧宇航、王佳琦。 一、背景介绍 虽然旋转位置编码（RoPE）及其变体因其长上下文处理能力而被广泛采用，但将一维 RoPE 扩展到具有复杂时空结构的视频领域仍然是一个悬而未决的挑战。 VideoRoPE++ 这项工作首先进行了全面分析，确定了将 RoPE 有效应用于视频所需的五个关键特性，而先前的工作并未充分考虑这些特性。 作为分析的一部分，这项工作构建了一个全新的评测基准 ——V-RULER，其中的子任务 "带干扰项的大海捞针（Needle Retrieval under Distractor, NRD）" 表明： 当前 RoPE 变体在缺乏合理时间维度建模策略时，容易被周期性干扰项误导，表现不稳定。 左图：为了展示频率分配的重要性，基于 VIAH（a），作者提出了一个更具挑战性的 benchmark: V-RULER，子任务 Needle Retrieval under Distractors 如（b）所 示，其中插入了相似图像作为干扰项。右图：与 M- ...

PAM团队 投稿 量子位 | 公众号 QbitAI 可以输出语义的「分割一切模型2.0」来了！ 一次交互，「分割+识别+解释+描述」全搞定，同时支持图像、视频和长视频，文本&Mask同时输出！ 由港中文MMLab、港理工、北京大学等机构开源的 PAM （Perceive Anything Model）模型，能够在保留SAM2分割一切、追踪一切能力的 基础上，同时输出丰富的语义信息。 为了训练这样一个强大的模型，PAM团队还构建了一个超大规模高质量训练数据集：拥有 150万个图像区域+60万个视频区域标注 实验结果表明，PAM仅使用 3B参数 ，就在多个图像和视频理解基准上全面刷新或逼近SOTA，且具备更优的推理效率和显存占用，真正实现 性能与轻量的统一。 所有数据均已 完全开源 。 PAM：准确定位一键输出 SAM2拥有强大的分割能力，可以"分割一切物体"，在视频中能够高效追踪 任意目标，表现惊艳！ 但它也有一个明显的局限：无法提供定位目标的任何 语义信息 （比如物体是什么、有何功能、处于什么状态等）。 一些最新的 Video LLM 模型尝试结合VLM和SAM2的强大视觉提示能力，进行视频理解。然而： 这些 ...

本文第一作者为前 阿里巴巴达摩院高级技术专家 ，现一年级博士研究生满远斌，研究方向为高效多模态大模型推理和生成系统。通信作者为第一作者的导 师，UTA 计算机系助理教授尹淼。尹淼博士目前带领 7 人的研究团队，主要研究方向为多模态空间智能系统，致力于通过软件和系统的联合优化设计实现 空间人工智能的落地。 近年来，大语言模型（LLM）持续刷新着多模态理解的边界。当语言模型具备了「看视频」的能力，视频问答、视频摘要和字幕生成等任务正逐步迈入真正 的智能阶段。但一个现实难题亟待解决—— 如何高效理解超长视频？ 为此，来自得克萨斯大学阿灵顿分校（UTA）计算机系研究团队提出了 AdaCM2 ：首个支持 超长视频理解 的跨模态记忆压缩框架。该研究已被 CVPR 2025 正式接收 ，并荣获 Highlight 论文 （接收率为 3%），展示出其在技术创新与实际价值上的双重突破。 论文标题：AdaCM2: On Understanding Extremely Long-Term Video with Adaptive Cross-Modality Memory Reduction 论文地址：https://arxiv.o ...

国产开源模型又上大分，这次是在长视频理解领域： 智源研究院联合上海交通大学等机构，正式发布新一代超长视频理解模型 Video-XL-2 。 长视频理解是多模态大模型关键能力之一。尽管OpenAI GPT-4o、Google Gemini等私有模型已在该领域取得显著进展，当前的开源模型在 效果、计算开销和运行效率等方面仍存在明显短板。 而Video-XL-2相较于上一版本的Video-XL，在多个维度全面优化了开源多模态大模型对长视频内容的理解能力： 目前，Video-XL-2的模型权重已全面向社区开放。未来，该模型有望在影视内容分析、异常行为监测等多个实际场景中展现重要应用价值。 允中 发自 凹非寺 量子位 | 公众号 QbitAI 单张显卡，就能处理万帧视频输入，并且编码2048帧视频仅需12秒！ 技术简介 在模型架构设计上，Video-XL-2主要由三个核心组件构成： 视觉编码器（Visual Encoder） 、 动态 Token 合成模块（Dynamic Token Synthesis, DTS） 以及 大语言模型（LLM） 。 △ Video-XL-2的模型架构示意图 具体而言，Video-XL-2 ...

机器之心发布 机器之心编辑部 长视频理解是多模态大模型关键能力之一。尽管 OpenAI GPT-4o、Google Gemini 等私有模型已在该领域取得显著进展，当前的开源模型在效果、计算 开销和运行效率等方面仍存在明显短板。 近日，智源研究院联合上海交通大学等机构，正式发布新一代超长视频理解模型：Video-XL-2。相较于上一版本的 Video-XL，该模型在多个维度全面优 化了多模态大模型对长视频内容的理解能力： 目前，Video-XL-2 的模型权重已全面向社区开放。未来，该模型有望在影视内容分析、异常行为监测等多个实际场景中展现重要应用价值。 技术简介 图 1：Video-XL-2 的模型架构示意图 图 3. Chunk-based Prefilling 效果更佳：Video-XL-2 在长视频理解任务中表现出色，在 MLVU、Video-MME、LVBench 等主流评测基准上达到了同参数规模开源模型的领先 水平。 长度更长：新模型显著扩展了可处理视频的时长，支持在单张显卡上高效处理长达万帧的视频输入。 速度更快：Video-XL-2 大幅提升了处理效率，编码 2048 帧视频仅需 12 秒，显 ...

以下文章来源于AcademicDaily ，作者AcademicDaily AcademicDaily . AcademicDaily是一个跟踪、推荐和解读大模型等AI成果的技术交流平台，致力于传播和分享前沿技术。 MCAF在理想内部被称为自动驾驶第三只眼。 兼容理想自研的Mind GPT-3o 与 BEV 大模型，无需重新训练。 MCAF是一个 多模态粗到细注意力聚焦框架，核心解决的是长视频理解的关键瓶颈。 当前视频理解领域对长视频（>5分钟）的处理存在显著缺陷，主流方法（如Video-MLLM）依赖全局压缩或均匀采样，导致细 节丢失和冗余计算。MCAF直接针对这一问题，通过多模态分层注意力和时间扩展机制，在信息保留与计算效率之间找到了平 衡点，这是其核心价值。 在平均时长达60分钟的Video-MME数据集上，MCAF超越其他代理方法（如VideoTree、DrVideo）约3-5个百分点。 不同于VideoTree等需要额外奖励模型评估置信度，MCAF利用单一LLM完成生成-评估-调整闭环。这不仅简化了架构（如代码 实现仅需1个LLM接口），还避免了多模型协同的兼容性问题，更适合实际部署。 不过在NEx ...

Vamba团队 投稿 量子位 | 公众号 QbitAI Mamba混合架构视频模型来了，不再对视频token进行压缩—— 而是通过改进模型架构设计的方式提升模型在训练及推理预填充阶段处理视频token的效率。 滑铁卢大学陈文虎团队与多伦多大学、零一万物、向量学院以及M-A-P的研究人员提出了一种新的Mamba-Transformer混合模型Vamba。 通过大量实验验证，研究团队发现Vamba在同等硬件条件下可处理的视频帧数较传统Transformer架构提升4倍，训练内存消耗降低50%以 上，并且可实现单步训练速度的翻倍。 同时，该方法完整保留了原始视频的时空特征，避免传统方法因降采样或池化操作导致的关键动作或场景的信息丢失。 在多个长视频的评价标准上，Vamba保持了高准确率和出色的性能，尤其在LVBench长视频理解基准上相较先前的高效长视频理解模型达到 了约4.3%的性能提升。团队现已开源Vamba模型的代码、模型权重以及训练、推理脚本供研究社区进一步探索与应用。 核心方法 目前流行的多模态大语言模型多使用Transformer作为模型的基本结构，其中的因果注意力机制相对于输入的token序列长度存在 ...