用多模态LLM超越YOLOv3！强化学习突破多模态感知极限｜开源

于恩 投稿 量子位 | 公众号 QbitAI 超越YOLOv3、Faster-RCNN，首个在COCO2017 val set上突破30AP的 纯多模态开源LLM 来啦！ 华中科技大学、北京邮电大学等多所高校研究团队共同推出的 Perception-R1 （PR1） ，在视觉推理中最基础的感知层面，探究rule- based RL能给模型感知pattern带来的增益。 PR1重点关注当下主流的 纯视觉 （计数，通用目标检测） 以及 视觉语言 （grounding，OCR） 任务，实验结果展现出在模型感知策略上 的巨大潜力。 然而，在识别物体和真正以细致入微的理解和逻辑感知视觉世界之间存在微妙的差异。虽然MLLM在一般的视觉问答方面越来越出色，但它们 在需要精确物体定位、准确计数多个物体、在复杂布局中完美阅读文本或执行复杂视觉推理的任务上常常表现不佳。这就像知道图片中有一只 猫和能够精确指出它的耳朵、计算它的胡须或理解它与其他物体的互动之间的区别。 强化学习的崛起与Perception-R1的诞生 强化学习 （Reinforcement Learning, RL） 引发了语言模型的范式转变。像RLHF （来自人 ...