VLA的Action到底是个啥？谈谈Diffusion：从图像生成到端到端轨迹规划~

点击下方 卡片 ，关注" 自动驾驶Daily "公众号 戳我-> 领取近15个自动驾驶方向路线 一、扩散模型原理 扩散模型Diffusion Models是一种生成式模型，本质是去噪，噪音符合某种特定分布。其原理基于对数据分布的 学习和模拟，主要包括正向扩散过程和反向生成过程。 其名字来源于一滴墨水滴进清水，以随机运动的方式弥散到清水乃至于彻底消融。 扩散模型学习这个弥散过程，目的是把融化进清水（纯噪音）里面的墨水（原始数据）恢复出来。 模型训练好后，给定一杯滴了墨水的清水，变魔术一般恢复出原始的墨水。这里的魔术只是某种学习了分布规律 的神经网络。 正向扩散过程 从初始数据分布（如真实图像分布）开始，逐步向数据中添加噪声，这个过程遵循一个马尔可夫链。在每一步， 根据前一步的状态和一个固定的噪声分布，生成下一个更具噪声的数据点。随着时间步的增加，数据逐渐变得更 像噪声，最终达到一个近似纯噪声分布。 反向生成过程 从纯噪声开始，通过学习一个逆过程来逐步去除噪声，以恢复出原始数据。这个逆过程通过神经网络来参数化， 网络的目标是根据当前带噪声的数据点和时间步，预测出前一个时间步的更接近原始数据的点。在训练过程中， 通 ...