Workflow
视觉 - 语言 - 动作模型
icon
Search documents
首次!世界模型、动作模型融合,全自回归模型WorldVLA来了
机器之心· 2025-07-03 08:01
岑俊,阿里巴巴达摩院具身智能大模型算法研究员,博士毕业于香港科技大学。研究方向主要是:具身智能 VLA 模型,世界模型。 阿里巴巴达摩院提出了 WorldVLA, 首次将世界模型 (World Model) 和动作模型 (Action Model/VLA Model) 融合到了一个模型中。WorldVLA 是一个统一了文本、图 片、动作理解和生成的全自回归模型。 论文标题:WorldVLA: Towards Autoregressive Action World Model 论文地址:https://arxiv.org/pdf/2506.21539 代码地址:https://github.com/alibaba-damo-academy/WorldVLA 研究简介 近年来,视觉 - 语言 - 动作(Vision-Language-Action, VLA)模型的发展成为机器人动作建模研究的重要方向。这类模型通常是在大规模预训练的多模态大语言模 型(Multimodal Large Language Models, MLLMs)基础上,添加一个动作输出头或专门的动作模块,以实现对动作的生成。MLLMs 在感知和决 ...
自动驾驶中常提的VLA是个啥?
自动驾驶之心· 2025-06-18 13:37
以下文章来源于智驾最前沿 ,作者陈云培 智驾最前沿 . 自动驾驶领域专业的技术、资讯分享全媒体平台。我们的slogan是:聚焦智能驾驶 ,紧盯行业前沿。 VLA 全称为" Vision-Language-Action ",即视觉 - 语言 - 动作模型,其核心思想是将视觉感知、语 言理解与动作决策端到端融合,在一个统一的大模型中完成从环境观察到控制指令输出的全过程。与传统 自动驾驶系统中感知、规划、控制模块化分工的思路不同, VLA 模型通过大规模数据驱动,实现了"图像 输入、指令输出"的闭环映射,有望大幅提高系统的泛化能力与场景适应性。 VLA 最早由 GoogleDeepMind 于 2023 年在机器人领域提出,旨在解决"视觉 - 语言 - 动作"三者协同 的智能体控制问题。 DeepMind 的首个 VLA 模型通过将视觉编码器与语言编码器与动作解码器结合,实 现了从摄像头图像和文本指令到物理动作的直接映射。这一技术不仅在机器人操作上取得了突破,也为智 能驾驶场景引入了全新的端到端思路。 在自动驾驶领域, 感知技术 通常由雷达、激光雷达、摄像头等多种传感器负责感知,感知结果经过目标 检测、语义分割、轨 ...
36氪精选:辅助驾驶人才争夺战:一把手下场挖人VS法务连续起诉
日经中文网· 2025-06-06 07:55
编者荐语: 日经中文网与36氪展开内容交换合作,精选36氪的精彩独家财经、科技、企业资讯,与读者分享。 以下文章来源于36氪Pro ,作者李安琪 李勤 36氪Pro . 36氪旗下官方账号。深度、前瞻,为1%的人捕捉商业先机。 车企的AI辅助驾驶人才饥渴症。 文 | 李安琪 编辑 | 李勤 封面来源 | 日经中文网 入职新公司第一天,张杨(化名)被要求"吐露"上家公司的辅助驾驶算法与代码。因没有积极配合,张杨没在新公司待多久就离 开了。 张杨的前东家是理想汽车,近年因迅速落地辅助驾驶而被行业关注,成为同行重点"探秘"的对象。 辅助驾驶的技术演化在持续喷发。从传统的基于规则的方案转向"端到端"模型路线后,车企的人才画像需求发生了极大变化,中 国车企像互联网大厂与AI公司一样渴求AI人才。 行业竞争激烈而持续。车企内部,团队赛马、立军令状、集体封闭式开发、"做不出来就换人"等,已经成为辅助驾驶部门的常 态。在高压的交付压力下,挖角高端人才、解密头部公司的技术,成为企业的一些"水下动作"。 尤其今年以来,辅助驾驶第一梯队公司的人才遭到了哄抢。有猎头人士告诉36氪,在端到端、AI大模型这波浪潮中,华为、理 想、Mom ...
「智驾」人才争夺战:帮新员工支付前司百万竞业赔偿
36氪· 2025-05-23 13:58
车企的AI辅助驾驶人才饥渴症。 " 在2024年、2025年初,理想辅助驾驶团队每一个核心人员基本上都会接到20 个以上的猎头电话。"今年5月7日,理想汽车CEO李想在AI Talk中说道。 但高端人才的争抢,往往伴随着竞业风险与法律纠纷。据36氪汽车了解,理想汽车今年起诉一名跳槽至同城企业的员工,起诉金额高达千万元级别,最终 双方选择私下和解,员工向理想赔偿了一年工资的金额款项。 类似的竞业协议诉讼并不少。据36氪了解,理想还起诉了南方一家头部新能源车企员工,双方达成和解后,后者协助员工赔付了超百万元。针对上述信 息,理想表示不予置评。 竞业、诉讼,已成为当下车企辅助驾驶、AI团队的常用手段,以此防止、延缓技术外溢,同时抑制对手发展。 当下,新能源汽车行业产品力趋向同质化,辅助驾驶是为数不多、具备特色与差异化的技术招牌。 文 | 李安琪 编辑 | 李勤 来源| 36氪汽车(ID:EV36Kr) 封面来源 | Unsplash 入职新公司第一天,张杨(化名)被要求"吐露"上家公司的辅助驾驶算法与代码。因没有积极配合,张杨没在新公司待多久就离开了。 张杨的前东家是理想汽车,近年因迅速落地辅助驾驶而被行业关注,成 ...