霸榜SOTA,蚂蚁开源UI-Venus-1.5,GUI智能体办事时代加速到来
机器之心·2026-02-18 12:51
GUI 智能体最近卷到什么程度了? Claude、OpenAI Agent 及各类开源模型你方唱罢我登场,但若真想让 AI 成为 「 能在手机和网页上稳定干活的助手」,仍绕不开三大现实难题: 现在,蚂蚁带来 UI-Venus-1.5:一个遵循「 高性能,实战派」设计理念的端到端 GUI 智能体。 单个模型即可统一处理定位(Grounding)、移动端(Mobile)与 网页端(Web)三大场景,全面支持 40+ 主流中文 App ,让 AI 真正走进用户生活。 「知识缺失」难题 :基础大模型对 GUI 领域的认知依然薄弱 —— 生僻图标、小众应用的操作逻辑等需要补足。 「纸上谈兵」困境 :离线训练数据与真实交互环境存在鸿沟,离线看似合理的动作,一到在线任务就翻车。 「多模型协同」障碍 :尽管视觉定位、任务规划等领域专家模型各有突破,但多模型协作往往依赖复杂框架,协同成本高。 报告标题: UI-Venus-1.5 Technical Report 技术报告:https://arxiv.org/abs/2602.09082 代码:https://github.com/inclusionAI/UI-Venus 模型 ...