VLA

Search documents
学术界和工业界都在如何研究端到端与VLA?三个月搞定端到端自动驾驶!
自动驾驶之心· 2025-10-09 04:00
端到端作为当前自动驾驶量产的核心算法,所涉及的技术栈十分丰富。很多研究生的同学和转行的工业界小伙伴在刚开始接触时,往往会遇到很多问 题。目前业内主要有两大类范式:一段式和两段式。一段式最具代表性的就是UniAD,直接从传感器输入(视觉/Lidar/Radar等)建模自车轨迹的输出, 二段式基于感知结果进一步输出自车和他车的轨迹。 一段式端到端又可以进一步延伸出基于感知的一段式、基于扩散模型的一段式、基于世界模型的一段式以及基于VLA的一段式端到端算法。不难看出, 端到端已经衍生出很多子领域,尤其是基于VLA的相关算法,这两年相关论文在爆发式发表,工业界也在争先量产。 从模块化的量产算法发展到端到端,再到如今的VLA。核心算法涉及BEV感知、视觉语言模型VLM、扩散模型、强化学习、世界模型等等。通过学习端 到端与VLA自动驾驶,可以掌握学术界和工业界最前沿的技术方向。 最近几个月,我们收到了很多同学的咨询如何快速高效的入门端到端和VLA。所以我们联合了 工业界 和 学术界 的大佬开展了 《端到端与VLA自动驾 驶小班课》 和 《自动驾驶VLA和大模型实战课程》 ! 扫码报名!抢占课程名额 课程大纲 自动驾驶VL ...
从机械臂到人形,跨构型VLA如何破局?
具身智能之心· 2025-10-09 00:04
点击下方 卡片 ,关注" 具身智能 之心 "公众号 >>直播和内容获取转到 → 具身智能之心知识星球 点击按钮预约直播 本次圆桌聚焦2篇非常特别的具身vla工作,邀请到了2位非常优秀的学术新星,他们近期的工作 一定程度上实现了领域的"破局"。 这两篇工作分别为: VLA-Adapter:机械臂VL to A范式的深刻反思,直击VLA的伪scaling VLA-Adapter的核心目标是更好的直接从VLM的特征直接mapping到action space,而不用过于依赖 Robotic数据。研究团队发现,在通用benchmark上VLA模型的参数量的增加和机器人预训练数据 的引入并没有实质上提升模型的性能,这是目前的模型普遍忽略了VL 究竟如何transfer到A的机制 探究。为此,团队系统分析并提出了一种全新的mapping方案,使得模型即使在0.5B级别的范式 下,达到了比经过大量数据预训练和更大量级的backbone更强的性能,显著降低了模型的训练成 本和VLA的入门门槛,为整个领域提出了"如何真正scaling VLA"的更深入的思考。 主页地址 :https://vla-adapter.github. ...
自动驾驶Ask Me Anything问答整理!VLA和WA的路线之争?
自动驾驶之心· 2025-10-08 23:33
趁着小红书这波Ask Me Anything,跟着几位大佬学习到很多自动驾驶之心汇总了自动驾驶AMA的一些 问答,分享给大家! AMA的完整版我们已经汇总至自动驾驶之心知识星球,后续还将持续整理大佬们的 问答,欢迎加入和4000人一起交流自动驾驶最前沿~ 点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 小米陈龙 小米汽车自动驾驶与机器人Principal Scientist陈龙@陳龍龖龘 Q1:陈老师好!我目前是同济新大一学生(未选专业,工科可任选),未来想研究自动驾驶领域,请问您就 行业发展与人才缺口而言推荐学什么专业呢? A1:自驾有可能4年后就解决的差不多了,但AI方向肯定是没错的,所以有AI专业的话首选,没有的话就计算 机 Q2:wayne工作体验怎么样呢?感觉很多黑科技,学生时代一直在follow A2:wayve确实想得比较远,端到端,世界模型,VLA等自驾模型基本上都是产业界的开创者 Q3:请问你认为人类可以实现完全自动驾驶吗,如果可以大概还需要几年 A3:肯定可以的,L4其实Waymo、萝卜快跑已经实现了,L5可能还要至少5年 Q4:现在业 ...
我们正在找具身领域的合伙人......
具身智能之心· 2025-10-08 02:49
最近收到越来越多合作伙伴和中小公司的诉求,期望具身智能之心团队能够在方案和数采、技术升级、 企业培训等多个方向上赋能。 岗位说明 主要面向具身课程开发、方案研发、硬件研发、培训合作(B端主要面向企业和高校、研究院所培训,C 端面向较多学生、求职类人群)。 联系我们 感兴趣的可以添加微信oooops-life做进一步咨询。 虽然从上半年开始,我们一直在筹办相关事宜。但众人拾柴火焰高,要推动大的行业进步,需要更多优 秀的伙伴加入我们。 现面向全球的具身领域从业者发出邀请函,具身智能之心期望能够和您在技术服务、培训、课程开发与 科研辅导等多个领域展开合作。 我们将提供高额的酬金与丰富的行业资源。 主要方向 包括但不限于:VLA、VLN、Diffusion Policy、强化学习、VLA+RL、遥操作、动捕、sim2real、多模态 大模型、仿真、运动控制、端到端、3D感知等多个方向。 ...
自动驾驶之心招募合伙人啦!4D标注/世界模型/模型部署等方向
自动驾驶之心· 2025-10-04 04:04
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 业务合伙人 自动驾驶之心业务合伙人招募来啦!我们团队今年计划向国内外招募10名优秀的合伙人,负责自动驾驶相 关课程研发、论文辅导业务开发、硬件研发; 主要方向 如果您是大模型/多模态大模型、扩散模型、VLA、端到端、具身交互、联合预测、SLAM、3D目标检测、 世界模型、闭环仿真3DGS、大模型部署与量化感知推理等方向,欢迎加入我们; 待遇说明 自动驾驶资源共享(求职、读博、出国留学推荐等); 丰厚的现金激励; 创业项目合作与推荐; 联系我们 更多欢迎添加微信咨询,备注" 机构/公司 + 自动驾驶合作咨询 "。 岗位要求 QS200以内高校,硕士及以上学历,手握顶会的大佬优先。 ...
最后1个名额,即将开课!VLA方向1v6论文辅导来啦~
具身智能之心· 2025-09-30 01:46
最近有同学后台留言,刚开学导师跨行做具身,让自己先去摸索下,最好能产出论文和项目。没有基础最快能 多久出论文? 针对跨行或者新入门的同学,我们一直建议先把基础打好。然后找一些研究价值比较大的领域突破。特别是有 一定的工作基础、数据基础的领域,如果完全不成熟,没有人同行后期科研的难度很大。 从今年各个机器人与AI顶会来看,VLA及其相关衍生方向,占据了近一半的具身产出。特别是长程操作、泛 化、少样本、VLA+RL、人形相关。如果有同学不知道怎么选择方向,可以多关注这个领域!具身智能之心最 近也出品了一套1v6的科研辅导论文课程,也欢迎关注报名。 那么VLA是什么? 想象一下,如果能通过语言下达指令,并且丝滑执行任何你想要的动作,是一件多么幸福的事情!如果能长时 间连续动作完成,将会非常方便。下面给大家介绍下VLA到底是啥? VLA打破了传统方法的单任务局限,使得机器人能够在多样化的场景中自主决策,灵活应对未见过的环境, 广泛应用于制造业、物流和家庭服务等领域。此外,VLA模型已成为研究热点,推动了多个前沿项目的发 展,如pi0、RT-2、OpenVLA、QUAR-VLA和HumanVLA,这些研究促进了学术界与 ...
地瓜精酿馆开张大吉:碰杯VLA观点,互诉机器人信仰|地瓜机器人x锦秋基金
锦秋集· 2025-09-29 13:14
9月24日晚,地瓜机器人与锦秋基金联手邀请来30 余位 「机器人头号玩家」 ,在杭州举办了一场机器人精酿Party。 来自 地瓜机器人 生态负责人胡春旭、云平台负责人秦玉森、算法负责人隋伟、锦秋基金合伙人臧天宇、锦秋基金投资副总裁Cindy、阿里云生态负责人 陈博 、 X-Man科沃斯蒲公英加速器总经理赵文景 空降现场,一起和科技大厂产品达人、技术专家、创业先锋们微醺开聊 "机器人的新一代故事" 。 现场机器人玩家们硬核开麦, 开发者们灵感捧杯 到我的客 杯精酿互诉机器 会 门对小对物 # # 地瓜机器人 醫 锦秋基金 ir ans and 12 12 statis 杯精酿互诉机器人信 杯里有精酿,哪里有 H El B 精蛋TE 地瓜机器人 鲨 锦桃基金 杯精酿互诉机器人信仰 I 力校准液制作中 # # 地瓜机器人 器 锦秋基金 同时,锦秋基金就现场大家对 VLA 不同观点的讨论,做了以下记录 挑战派 两条腿走路:上层大模型负责理解/任务分解,底层RL/规控负责约束满足与实时稳定;协同进化。 自主数据生成与仿真增强:用RL+物理仿真(动力学/碰撞/库伦摩擦)造数据、学策略,提高泛化;像"孩子学走路"靠自我试错 ...
工业界大佬带队!三个月搞定端到端自动驾驶
自动驾驶之心· 2025-09-29 08:45
Core Viewpoint - 2023 is identified as the year of end-to-end production, with 2024 expected to be a significant year for this development in the automotive industry, particularly in autonomous driving technology [1][3]. Group 1: End-to-End Production - Leading new forces and manufacturers have already achieved end-to-end production [1]. - There are two main paradigms in the industry: one-stage and two-stage approaches, with UniAD being a representative of the one-stage method [1]. Group 2: Development Trends - Since last year, the one-stage end-to-end approach has rapidly evolved, leading to various derivatives such as perception-based, world model-based, diffusion model-based, and VLA-based one-stage methods [3]. - Major autonomous driving companies are focusing on self-research and mass production of end-to-end autonomous driving solutions [3]. Group 3: Course Offerings - A course titled "End-to-End and VLA Autonomous Driving" has been launched, covering cutting-edge algorithms in both one-stage and two-stage end-to-end approaches [5]. - The course aims to provide insights into the latest technologies in the field, including BEV perception, visual language models, diffusion models, and reinforcement learning [5]. Group 4: Course Structure - The course consists of several chapters, starting with an introduction to end-to-end algorithms, followed by background knowledge essential for understanding the technology stack [9][10]. - The second chapter focuses on the most frequently asked technical keywords in job interviews over the next two years [10]. - Subsequent chapters delve into two-stage end-to-end methods, one-stage end-to-end methods, and practical assignments involving RLHF fine-tuning [12][13]. Group 5: Learning Outcomes - Upon completion, participants are expected to reach a level equivalent to one year of experience as an end-to-end autonomous driving algorithm engineer [19]. - The course aims to deepen understanding of key technologies such as BEV perception, multimodal large models, and reinforcement learning, enabling participants to apply learned concepts to real projects [19].
在具身智能的岔路口,这场论坛把数据、模型、Infra聊透了
机器之心· 2025-09-29 02:52
机器之心原创 作者:张倩 当机器人成为各大科技展会最受瞩目的焦点,当具身智能论坛场场爆满、一票难求,我们不难发现:这个领域正在经历前所未有的关注热潮。 然而,热潮之下,仍有诸多关键议题悬而未决:面对 数据 稀缺,有人寄希望于合成数据的突破,有人坚持真机数据才是根本;在 技术路线 之争 中,有人押注端 到端的整体范式,有人则认为分层架构更符合演进规律;至于 模型 形态,有人视 VLA 为智能的最终归宿,也有人认为世界模型才是真正的未来。 现阶段出现这种分歧非常正常,因为整个行业的发展路径尚未收敛。有些问题甚至还没有来得及系统讨论,比如量产之后会出现哪些新的卡点,谁来解决? 正是因为存在这些问题,业界迫切需要一个开放的对话平台。在 今年 云 栖大会的 具身智能论坛 上,我们见证了这样一场深度交锋:不同派系的代表坐到同一张 桌子前,将技术分歧、商业思考和基础设施需求一并摊开讨论,试图在碰撞中寻找新的共识。 论坛过后,我们也和这场论坛的发起者 —— 阿里云 聊了聊。这家云计算巨头选择在此时深度介入具身智能领域,本身就值得关注。 聊完之后,我们发现,他们真正的入局其实是在四五年前,如今更是在提前为具身智能行业即将到来的 ...
没有导师指导,最快多久可以产出一篇具身领域相关论文?
具身智能之心· 2025-09-28 07:00
那么VLA是什么? 最近有同学后台留言,刚开学导师跨行做具身,让自己先去摸索下,最好能产出论文和项目。没有基础最 快能多久出论文? 针对跨行或者新入门的同学,我们一直建议先把基础打好。然后找一些研究价值比较大的领域突破。特别 是有一定的工作基础、数据基础的领域,如果完全不成熟,没有人同行后期科研的难度很大。 从今年各个机器人与AI顶会来看,VLA及其相关衍生方向,占据了近一半的具身产出。特别是长程操作、 泛化、少样本、VLA+RL、人形相关。如果有同学不知道怎么选择方向,可以多关注这个领域!具身智能 之心最近也出品了一套1v6的科研辅导论文课程,也欢迎关注报名。 从产业角度看,国内外具身智能领域正处于蓬勃发展阶段,Unitree、智元、星海图、银河通用、逐际动力 等团队从实验室走向商业化,华为、京东、腾讯等科技巨头也积极布局,与国外Tesla、Figure AI等公司正 在一起推动这一领域的发展。 很多同学后台留言,咨询VLA相关的论文辅导,希望能够快速入门或转型。VLA作为目前的研究热点,还 有很多问题没有解决,确实是发论文的好方向。但相关体系过于庞大,路线、仿真框架较多,如何写稿、 投稿也都是技巧。具身智 ...