于恩 投稿 量子位 | 公众号 QbitAI 超越YOLOv3、Faster-RCNN，首个在COCO2017 val set上突破30AP的 纯多模态开源LLM 来啦！ 华中科技大学、北京邮电大学等多所高校研究团队共同推出的 Perception-R1 （PR1） ，在视觉推理中最基础的感知层面，探究rule- based RL能给模型感知pattern带来的增益。 PR1重点关注当下主流的 纯视觉 （计数，通用目标检测） 以及 视觉语言 （grounding，OCR） 任务，实验结果展现出在模型感知策略上 的巨大潜力。 然而，在识别物体和真正以细致入微的理解和逻辑感知视觉世界之间存在微妙的差异。虽然MLLM在一般的视觉问答方面越来越出色，但它们 在需要精确物体定位、准确计数多个物体、在复杂布局中完美阅读文本或执行复杂视觉推理的任务上常常表现不佳。这就像知道图片中有一只 猫和能够精确指出它的耳朵、计算它的胡须或理解它与其他物体的互动之间的区别。 强化学习的崛起与Perception-R1的诞生 强化学习 （Reinforcement Learning, RL） 引发了语言模型的范式转变。像RLHF （来自人 ...

在无数科幻电影中，增强现实（AR）通过在人们的眼前叠加动画、文字、图形等可视化信息，让人获得适时的、超越自身感知能力的信息。无论是手术医 生带着 AR 眼镜进行操作，还是智能工厂流水线前的例行检查、或是面对书本时 AR 快速查找翻阅的超能力，是这一切只为一个最终目的——通过适时的信 息辅助我们。 直到今日，大部分 AR 辅助依然停留在需要人工远程接入辅助的层面，与我们期待的智能的、理解性的、可拓展的 AR 辅助相差甚远。这也导致 AR 在重要 产业和生活应用中的普及受到限制。如何能让 AR 在生活中真正做到理解用户、理解环境、并适时的辅助依然面临巨大挑战。 Satori 系统自动识别用户称重 11 g 咖啡的展示 这一切随着 Satori 系统的诞生即将成为过去。来自纽约大学数据与可视化实验室（NYU VIDA）联合 Adobe 的研究人员融合多模态大语言模型（MLLM） 与认知理论 BDI（Belief-desire-intention theory） 让 AI 首次真正意义的去理解使用者的行为、目标以及环境状态 ，最终达到根据不同场景自动适配指 示内容，指示步骤，与判断辅助时机。让 AR 辅助接入智慧核心 ...

STI-Bench团队 投稿 量子位 | 公众号 QbitAI 多模态大语言模型（MLLM）在具身智能和自动驾驶"端到端"方案中的应用日益增多，但它们真的准备好理解复杂的物理世界了吗？ 上海交通大学联合中国地质大学、南洋理工大学、智源研究院以及斯坦福大学的研究团队推出首个多模态大模型（MLLM）时空智能评测基准 STI-Bench（Spatial-Temporal Intelligence Benchmark），向当前最先进的多模态大语言模型发起了关于精确空间时间理解的严峻挑战。 结果显示，即便是Gemini-2.5-Pro、GPT-4o、Claude-3.7-Sonnet、Qwen 2.5 VL等当前最强的多模态大模型，在需要定量分析真实世界空 间关系和动态变化的任务上，表现并不尽人意。 从语义理解到时空智能 MLLM在视觉语言理解上成就斐然，并被寄望于成为具身智能和自动驾驶的"端到端"解决方案。但这要求模型超越传统的语义理解，具备精准 的时空智能。 试想AI应用场景中的需求： 自动驾驶： 需知晓与前车的精确距离（米）、行人过马路的速度（米/秒）、安全过弯的车速限制等。 机器人操作： 需判断目标物体的尺寸位 ...