Workflow
ReflectDrive
icon
Search documents
ReflectDrive将有助于理想辅助驾驶安心感提升
理想TOP2· 2025-10-06 13:10
论文本质是提出了无需梯度计算基于离散Diffusion的安全轨迹生成框架,说的再人话一点,就是想办 法更高效生成更安全的轨迹,这将有助于理想辅助驾驶安心感更强。头图来自微博用户阿光同学 Jason。 核心价值为: 1.在主流基于模仿学习、强化学习、连续扩散模型之上,将离散思想引入辅助驾驶轨迹生成。 ( 仅 依赖强化学习来加强,reward hack是棘手的问题,很难写出全面的reward适用连续轨迹复杂的三维空 间 ) 即通过离散Diffusion,将轨迹问题转化为了语言模型擅长的完形填空类问题,可以直接利用预训练好 的Diffusion语言模型的能力。这种并行的方式可以一次性生成所有轨迹点,而不用像自回归模型一个 一个吐字,效率更高。 2.反思机制(Reflection Mechanism)通过评估-搜索-修复(inpainting)来修正不安全的轨迹点,全过程无 需梯度计算。 (传统的需要梯度计算的扩散模型拉高计算成本,采样速度慢,参数敏感) 这是一个两阶段的推理过程,可以理解为先大胆规划,再小心求证。 阶段一:目标导向的轨迹生成 (Goal-Conditioned Generation) 此阶段的目的是 ...
会自检的VLA!ReflectDrive:更安全更高效scaling的端到端框架(理想&清华)
自动驾驶之心· 2025-09-27 23:33
会自检的ReflectDrive:我的轨迹我做主,安全感拉满! 端到端自动驾驶已成为一个重要且快速发展的研究领域。通过大规模数据集学习类人驾驶策略具有相当大的潜力。但是在多模态性能以及长尾场景, 没有可持续解决问题的框架。如果仅依赖强化学习来加强,那么reward hack又成为了棘手的问题,很难写出一个全面的reward可以适用连续轨迹复杂的 三维空间。所以近年来大语言模型的泛化能力突破让大家看到了希望,是否能够利用模型scaling以及数据scaling去激发模型的泛化性能,也就是vla模 型的兴起。 大家都想利用上vlm的泛化能力,用更少的数据去解决few shot/zero shot的场景。下面是对于目前自动驾驶方案vla方案的痛点分析: 基于上面的描述,可以看出目前迫切需要做到的是L模态和A模态的融合,一种更容易scaling的统一的架构,同时还要做到高效生成。为应对这些挑 战, 理想和清华的团队提出ReflectDrive——一种新型学习框架,通过离散扩散的反思机制实现安全轨迹生成。 我们首先将二维驾驶空间离散化以构 建动作代码本,从而能够通过微调将预训练扩散语言模型用于规划任务。该框架的核心是安 ...