一次示范就能终身掌握！让手机AI轻松搞定复杂操作丨浙大&vivo出品
量子位·2025-05-01 02:07
LearnAct团队投稿 量子位 | 公众号 QbitAI 想让手机AI像人类一样快速学习？ 浙大与vivo联手突破！全新 LearnAct 框架仅需一次示范，就能教会AI完成复杂操作。 研究同步发布的LearnGUI基准，首次构建了面向移动端示范学习的评估体系，为AI智能体的实用化部署提供了关键技术支撑。 本文的作者来自浙江大学和vivo AI lab。本文的共同第一作者为浙江大学硕士生刘广义和赵鹏翔，主要研究方向为大语言模型驱动的GUI智能 体技术。项目leader 为vivo AI lab 算法专家刘亮。本文的通信作者为浙江大学孟文超研究员。 移动应用和用户界面的多样性创造了许多长尾场景，截至2025年仅Google Play上就有168万个应用，现有智能体在长尾场景中难以有效执行 任务。 目前主流的智能体构建方法依赖通用LLMs的内在能力或通过大量数据微调，但面对以数百万的移动应用及数十亿用户各自独特的任务需求， 这些方法难以覆盖如此庞大的多样性，导致在未见场景中表现不佳，阻碍了手机GUI智能体的广泛应用。 手机GUI智能体：潜力与挑战并存 随着大型语言模型（LLMs）的快速发展，手机图形用户界面（G ...