摘要 / 导语： 在具身智能与视频理解飞速发展的今天，如何让 AI 真正 "看懂" 复杂的操作步骤？北京航空航天大学陆峰教授团队联合东京大学，提出视频理解新 框架。该工作引入了 "状态（State）" 作为视觉锚点，解决了抽象文本指令与具象视频之间的对齐难题，已被人工智能顶级会议 AAAI 2026 接收。 在当今的视频理解和具身智能领域，教 AI 理解 "做菜" 或 "修理电器" 等程序性活动具有重要意义。然而，当这一需求遭遇现有的图文对齐范式时，一个难以忽视 的「语义鸿沟」（Semantic Gap）横亘在研究者面前。 现有的程序性视频学习方法面临数据困境：要么依赖极其昂贵的时间密集型标注，难以扩展；要么利用 WikiHow 等外部知识库进行弱监督学习，将视频帧与 "任 务（Task）" 或 "步骤（Step）" 的文本描述强行对齐。 但弱监督的方式仍然存在优化空间：抽象的语言描述与具体的视觉像素之间存在断层。当文本指令是 "切橙子"（Cut oranges）时，视频中呈现的是橙子从完整状 态到果肉外露的连续视觉形态变化，而非明确的动作过程。二者之间的不匹配导致模型难以准确识别和理解视频所表达的实际过程。 ...

以下文章来源于AcademicDaily ，作者AcademicDaily AcademicDaily . AcademicDaily是一个跟踪、推荐和解读大模型等AI成果的技术交流平台，致力于传播和分享前沿技术。 MCAF在理想内部被称为自动驾驶第三只眼。 兼容理想自研的Mind GPT-3o 与 BEV 大模型，无需重新训练。 MCAF是一个 多模态粗到细注意力聚焦框架，核心解决的是长视频理解的关键瓶颈。 当前视频理解领域对长视频（>5分钟）的处理存在显著缺陷，主流方法（如Video-MLLM）依赖全局压缩或均匀采样，导致细 节丢失和冗余计算。MCAF直接针对这一问题，通过多模态分层注意力和时间扩展机制，在信息保留与计算效率之间找到了平 衡点，这是其核心价值。 在平均时长达60分钟的Video-MME数据集上，MCAF超越其他代理方法（如VideoTree、DrVideo）约3-5个百分点。 不同于VideoTree等需要额外奖励模型评估置信度，MCAF利用单一LLM完成生成-评估-调整闭环。这不仅简化了架构（如代码 实现仅需1个LLM接口），还避免了多模型协同的兼容性问题，更适合实际部署。 不过在NEx ...