近期，吉林大学人工智能学院发布了一项基于强化学习训练的 VLM 智能体最新研究《ScreenExplorer: Training a Vision-Language Model for Diverse Exploration in Open GUI World》。它让视觉语言模型（VLM）真正学会了「自我探索 GUI 环境」。 论文地址：https://arxiv.org/abs/2505.19095 项目地址：https://github.com/niuzaisheng/ScreenExplorer 该工作带来三大核心突破： 作者简介：本文第一作者牛润良是吉林大学人工智能学院博士研究生，研究方向包括大模型智能体、强化学习，专注于 GUI Agent。通讯作者王琪为吉林大学人 工智能学院研究员，研究方向包括数据挖掘、大模型、强化学习。 迈向通用人工智能（AGI）的核心目标之一就是打造能在开放世界中自主探索并持续交互的智能体。随着大语言模型（LLMs）和视觉语言模型（VLMs）的飞速发 展，智能体已展现出令人瞩目的跨领域任务泛化能力。 而在我们触手可及的开放世界环境中，图形用户界面（GUI）无疑是人机交互最普遍 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 作者丨具身智能之心 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要 的。 最近很多同学询问π0、π0.5、A0都是啥？用在什么地方？能实现哪些功能？方法论有啥不同？前面 刚开始听到这些，也一头雾水，今天为大家梳理下。 π₀模型结构 原文：π0: A Vision-Language-Action Flow Model for General Robot Control π₀的核心架构基于 预训练视觉语言模型（VLM） 和 Flow Matching 技术，具体包含以下关键组件： VLM backbone 动作专家（Action Expert） 跨具身训练（Cross-Embodiment Training） 整合 7 种机器人、68 项任务、超 10,000 小时数据（含开源 OXE 数据集），通过权重调整处理不 同机器人的动作空间差异（如零填充低维动作向量）。 训练流程 基于 PaliGemma V ...

以下文章来源于AI生成未来 ，作者AI生成未来 AI生成未来 . 领先的AIGC和具身智能、大模型技术交流社区，关注LLM、CV、深度学习、生成式等AI领域前沿技术 编辑丨具身智能之心 点击下方 卡片 ，关注" 具身智能之心 "公众号 >> 点击进入→ 具身 智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有 你想要的。 论文链接： https://arxiv.org/pdf/2504.04158 项目主页： https://cvpr2025-jarvisir.github.io/ Github仓库： https://github.com/LYL1015/JarvisIR Huggingface Online Demo: https://huggingface.co/spaces/LYL1015/JarvisIR 背景与动机 在自动驾驶等现实应用场景中，视觉感知系统常常受到多种天气退化（如雨、雾、夜间、雪）的影响。 传统的单任务方法依赖特定先验知识，而 all-in-one 方法只能解决有限的退化组合同时又存在严重的 领域差异，难以应对复 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 作者丨具身智能之心 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要 的。 最近很多同学询问π0、π0.5、A0都是啥？用在什么地方？能实现哪些功能？方法论有啥不同？前面 刚开始听到这些，也一头雾水，今天为大家梳理下。 π₀模型结构 原文：π0: A Vision-Language-Action Flow Model for General Robot Control π₀的核心架构基于 预训练视觉语言模型（VLM） 和 Flow Matching 技术，具体包含以下关键组件： VLM backbone 动作专家（Action Expert） 跨具身训练（Cross-Embodiment Training） 整合 7 种机器人、68 项任务、超 10,000 小时数据（含开源 OXE 数据集），通过权重调整处理不 同机器人的动作空间差异（如零填充低维动作向量）。 训练流程 基于 PaliGemma V ...

以下是知识星球里面一位同学的提问： 请问VLA和VLM的区别是什么？现在推荐学哪个呢？ 这两者互为表里： 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 大模型已经席卷各个领域，在智能驾驶领域，VLM也正在逐渐铺开落地量产。 不少入门的小伙伴也表示，现在大模型太重要了，想要入门学习，但有点拿不准方向。 1、VLM可以理解基础的能力，可以是通用的检测、问答、空间理解、思维链等等能力 2、VLA更侧重Action的能力，最终目的是为了做动作，在自动驾驶中可以理解为自车轨迹预测的能力，通时预 测的轨迹又要尽可能的符合人类的理解，这又进一步依赖vision和language的基本能力，比如我要解释这个行 为，可以使用思维链的形式一步步推理分析，这里面依赖自动驾驶基础的感知（行人在哪里，2D坐标，3D位置 等等） 这两者没办法完全独立的学习，我认为的方式应该是先学VLM，再去扩展到VLA VLM接扩散模型就可以预测轨迹，也就是Action，这块就涉及到多模轨迹的好处了，面对不确定的环境，单模 的能力有限，多模的上限是更高的 最后欢迎大家加入知识星球，硬核资料在星球置 ...

Core Viewpoint - The article discusses the transition of Visual Language Models (VLM) from "perception" to "cognition," highlighting the introduction of "Pixel-Space Reasoning" which allows models to interact with visual information directly at the pixel level, enhancing their understanding and reasoning capabilities [1][2][3]. Group 1: Key Developments in VLM - The current mainstream VLMs are limited by their reliance on text tokens, which can lead to loss of critical information in high-resolution images and dynamic video scenes [2][4]. - "Pixel-Space Reasoning" enables models to perform visual operations directly, allowing for a more human-like interaction with visual data [3][6]. - This new reasoning paradigm shifts the focus from text-mediated understanding to native visual operations, enhancing the model's ability to capture spatial relationships and dynamic details [6][7]. Group 2: Overcoming Learning Challenges - The research team identified a "cognitive inertia" challenge where the model's established text reasoning capabilities hinder the development of new pixel operation skills, creating a "learning trap" [8][9]. - To address this, a reinforcement learning framework was designed that combines intrinsic curiosity incentives with extrinsic correctness rewards, encouraging the model to explore visual operations [9][12]. - The framework includes constraints to ensure a minimum rate of pixel-space reasoning and to balance exploration with computational efficiency [10][11]. Group 3: Performance Validation - The Pixel-Reasoner, based on the Qwen2.5-VL-7B model, achieved impressive results across four visual reasoning benchmarks, outperforming models like GPT-4o and Gemini-2.5-Pro [13][19]. - Specifically, it achieved an accuracy of 84.3% on the V* Bench, significantly higher than its competitors [13]. - The model demonstrated a 73.8% accuracy on TallyQA-Complex, showcasing its ability to differentiate between similar objects in images [19][20]. Group 4: Future Implications - The research indicates that pixel-space reasoning is not a replacement for text reasoning but rather a complementary pathway for VLMs, enabling a dual-track understanding of the world [21]. - As multi-modal reasoning capabilities evolve, the industry is moving towards a future where machines can "see more clearly and think more deeply" [21].

21世纪经济报道记者 林典驰 深圳报道 今年以来，人形机器人的产业化进展飞速。 从春晚上"福兮"的精彩表演，到首届人形机器人半程马拉松中"天工"的首次冲线，一时间"街头巷尾"都 在讨论人形机器人。 要支撑人形机器人与环境感知交互，就离不开具身智能技术的持续突破。尤其是大语言模型 （LLM）、视觉语言模型（VLM）以及视觉语言动作端到端模型（VLA）等关键技术的迭代创新，显 著提升了机器人在交互感知和泛化能力方面的表现。 然而，具身智能前行之路并非坦途，在数据采集、机器人形态应用以及大小脑融合等方面仍面临诸多挑 战。 因此，厂商们正在从不同的领域切入，解决以上痛点。比如，英特尔和东土科技（300353）等提出大小 脑融合解决方案，采用单一芯片架构替代双系统模式，降低整体成本及软件开发、测试、优化与部署成 本。 破解数据匮乏桎梏 1950年，艾伦·图灵首次提出"具身智能"时，并未引起轰动，直到在近两年才成为科技圈的热词。 图灵给出的基本假设是，具身智能是通过与环境交互获得知识并泛化应用能力。英伟达创始人兼CEO黄 仁勋则进一步诠释，具身智能是能够理解、推理并与物理世界互动的智能系统，预计其将成为人工智能 的下一波 ...

以下文章来源于深蓝具身智能 ，作者深蓝学院-具身君 深蓝具身智能 . 深蓝学院旗下专注于具身智能与大模型的资讯与干货分享 "智能体不应被语言或视角束缚， 记忆与感知的融合才是自由导航的钥匙" 介绍本文具体工作前，先一起回顾一下 现有VLN的分类，如表1所示，大致分为 三类 ：基于大语言模型（LLM）的导航、基于价值地图的导航和基于 视觉语言模型（VLM）的导航。 | सेंड | 说明 | 方法 | 优点 | 缺点 | | --- | --- | --- | --- | --- | | 基于LLM的 导航 | 构建全局记忆地 图,用自然语言 | LFG | 维护全局地 | 缺乏高维语义信 息, 削弱空间推理 | | | 描述候选目标点 | VoroNav | 图,使用高 | | | | | ESC | | 能力 | | | 位置,使用LLM生 成行动决策 | OpenIMNav | 级推理 | | | 基于价值地 | 根据自我视角观 察计算全局价值 | VLFM | 解决长时导 | 价值地图基于局部 观察,缺乏全局视 | | 图的导航 | 函数,根据生成 | InstructNav | 航的记忆遗 | 角,导 ...