理想汽车智驾方案MindVLA方案详解

作者 | 跃来跃好 来源 | 地平线开发者 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 2.1 传统端到端自动驾驶的不足 传统的端到端自动驾驶通过感知（Perception）生成 3D 目标框（3D Boxes）；然后预测模块使用 3D 目标和地图预测运动轨迹；规划模块根据预测进行轨迹 规划。 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 本文只做学术分享，如有侵权，联系删文 01 引言 MindVLA 主要包括空间智能模块、语言智能模块、动作策略模块、强化学习模块，这些模块分别有以下功能： 空间智能模块：输入为多模态传感器数据，使用 3D 编码器提取时空特征，然后将所有传感器与语义信息融合成统一的表征。 语言智能模块：嵌入式部署的大语言模型 MindGP ，用于空间 + 语言的联合推理，支持语音指令和反馈，可能实现人车交互。 动作策略模块：使用扩散模型生成车辆未来的行为轨迹，引入噪声来引导扩散过程以生成多样化的动作规划。 强化学习模块：使用 World Model 模拟外部环境响应，评估行为后果；使用 奖励模型（Reward Model） ：提 ...