Workflow
Model Fusion
icon
Search documents
走向融合统一的VLA和世界模型......
自动驾驶之心· 2025-12-23 09:29
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 最近自动驾驶的两大前沿方向:VLA和世界模型,已经有明显的融合趋势 。这一想法是十月份看到中科院的 DriveVLA-W0,因此笔者借这个机会分别调研了 VLA 和 World Model 相关的工作,并且思考一下 这二者结合 的可能性。 太长不看版: VLA和世界模型并不冲突,终极目标是一致的。世界模型可以作为数据引擎、闭环引擎,甚至可以参与到VLA 的模型训练过程中,融合是大趋势,落地是我全都要。 经过几周的调研、分析,有了些成果和自己的心得,所以也想理一理,分享给自动驾驶之心的小伙伴们,主 要分为以下几个部分: 输入端:融合多模态感知 VLA的输入整合了视觉、传感器与语言等多模态的信息。核心视觉输入通过多摄像 头图像生成BEV或体素表征,以理解空间结构;传感器(如激光雷达、毫米波雷达)提供几何与动态补充; 语言输入则是关键创新,支持导航指令、交互问答与规则描述,使系统能理解人类意图与常识,构建出超越 传统纯视觉感知的环境理解。 自动驾驶技术诞生到发展至 ...
教AI「择偶生娃」,复刻自然演化,上交校友提名最佳论文
3 6 Ke· 2025-08-27 02:46
Sakana AI以自然演化为灵感,提出了一种全新的模型融合进化方法M2N2。通过引入自然界的「择偶机制」,AI可以像生物一样「竞争、择 偶、繁衍」。在当前全球算力短缺、模型训练实际规模受制的情况下,Sakana AI借助自然界的启示,为模型融合探索出了一条新路。 如果让AI模型像生物一样演化,它们会不会彼此竞争、协作、结合,并繁衍出越来越强的后代? 「物竞天择,适者生存」的进化论思想,是否也适用于AI模型? 就在最近,Sakana AI从自然演化的过程中汲取灵感,提出了一种利用「竞争与吸引力」的自然选择机制,来提升AI模型融合效果的方法。 Sakana AI认为,AI模型的发展,也和自然演化的过程类似: 集体智慧从群体中涌现。 比如:自然并没有创造单一的、巨大的单体生物,而是孕育了一个多样化的生态系统。在自然界的生态系统中,每一个个体通过竞争、合作与组合来适应 环境、繁衍后代。 这正是Sakana眼中的AI世界该有的样子: 当人类不再试图构建一个庞大的单体AI,而是演化出整个AI生态系统,各个专业AI模型在其中竞争、合作、融合……这会带来什么? 他们没有简单停留在想象阶段,而是一直在探索模型融合,试图利用演 ...