ReasonMap团队 投稿 量子位 | 公众号 QbitAI 近年来，大语言模型（LLMs）以及多模态大模型（MLLMs）在多种场景理解和复杂推理任务中取得突破性进展。 然而，一个关键问题仍然值得追问： 多模态大模型（MLLMs），真的能"看懂图"了吗？ 特别是在面对结构复杂、细节密集的图像时，它们是否具备细粒度视觉理解与空间推理能力，比如挑战一下高清 地铁图 这种。 为此，来自西湖大学、新加坡国立大学、浙江大学、华中科技大学的团队提出了一个全新的评测基准 ReasonMap 。 看得出来北京、杭州的地铁图难倒了一大片模型。 这是首个聚焦于 高分辨率交通图（主要为地铁图）的多模态推理评测基准，专为评估大模型在理解图像中细粒度的结构化空间信息 方面的 能力而设计。 结果发现，当前主流开源的多模态模型在ReasonMap上面临明显性能瓶颈，尤其在 跨线路路径规划 上常出现视觉混淆或站点遗漏。 而经强化学习后训练的闭源推理模型（如 GPT-o3）在多个维度上 显著优于 现有开源模型，但与人类水平相比仍存在明显差距。 在面对不同国家地区的地铁图中，四个代表性 MLLM（Qwen2.5-VL-72B-I（蓝色）、 I ...

ZJU REAL Lab 投稿 量子位 | 公众号 QbitAI 杯子在我的左边还是右边？ 这个对人类来说非常简单的问题，连GPT-4o这样级别的视觉语言大模型 （VLMs） 也可能答错。 ViewSpatial-Bench评估集中 包含5700个问答对，涵盖相机视角与人类视角两种框架下的五种空间定位识别任务 。 究其根本，还是 当前的视觉语言大模型在大规模图文数据中学习到的空间信息往往是片段化的，仅限于静态视角的理解，缺乏多维度、多视 角的空间推理能力 。 因此，当面对需要多视角空间推理的任务时，这些模型们就频频卡壳。 但是，具备稳健的空间推理能力与视角理解能力的AI系统，才能真正成为与人类协作的智能体。 为此，来自浙江大学、电子科技大学和香港中文大学的研究团队提出了 首个系统评估VLM多视角多任务下的空间定位能力的基准体系 —— ViewSpatial-Bench，涵盖五种不同的任务类型，从相机和人类视角出发，全面评估模型的空间推理能力。 同时还并配备了能够生成精确方向标签的自动化3D标注流水线。通过高效的3D方向标注生成流程，实现了超过5700个问答对，覆盖丰富的 3D场景。 通过在多视角空间数据集上的 ...

MME-VideoOCR团队 投稿 量子位 | 公众号 QbitAI 多模态大模型（MLLM）在静态图像上已经展现出卓越的 OCR 能力，能准确识别和理解图像中的文字内容。 然而，当应用场景从静态图像拓展至 动态视频 时，即便是当前最先进的模型也面临着严峻的挑战。 MME-VideoOCR 致力于系统评估并推动MLLM在视频OCR中的感知、理解和推理能力。 主要贡献如下： 构建精细的任务体系： 高质量、大规模数据集： 包含了 1,464 个精选视频片段，覆盖不同的分辨率、时长与场景。 构建了 2,000 条高质量、经人工标注的问答对，确保评测的精确性。 揭示当前 MLLM 的能力边界与局限： 研究背景 视频作为一种信息密度更高、场景更复杂的模态，其 OCR 任务的难度远超静态图像： 1 运动模糊、光影变化、视角切换以及复杂的时序关联 等视频的动态因素，都对 MLLM 的视频文字识别构成了显著的障碍。 2 视频中的 文字信息形式复杂多样 ，既可能出现在画面主体、背景场景，也可能以屏幕注释、水印或弹幕的方式存在。这要求模型能够建立 稳定的时空视觉-文本关联，以实现对分布在不同位置与时间段文字信息的准确识别、整合与 ...