从理想VLA看自动驾驶技术演进路线...

理想VLA司机大模型已经上车了！从发布会上看，VLA 能力的提升集中体现在三点：更懂语义 （多模态输入）、更擅长推理（思维链）、更接近人类驾驶直觉（轨迹规划）。并且具备四个核 心能力：空间理解能力、思维能力、沟通与记忆能力以及行为能力。 其中思维能力、沟通与记忆能力是语言模型赋予的能力，其中记忆能力还用到了RAG。下面是理 想VLA司机大模型思维链输出的demo：结合了动态目标、静态元素、导航地图、空间理解等等元 素。毫无疑问，VLA已经是自动驾驶学术界和工业界最为关注的方向。 而VLA是从VLM+E2E一路发展过来的，涵盖了端到端、轨迹预测、视觉语言模型、强化学习等多 个前沿技术栈。。而传统的BEV感知、车道线、Occupancy等工作相对较少出现在顶会了，最近也 有很多同学陆续来咨询柱哥，传统的感知、规划这块还能继续发论文吗？感觉工作都已经被做的 七七八八了，审稿人会打高分吗？ 说到传统的感知、规划等任务，工业界都还在继续优化方案！但学术界基本都慢慢转向大模型与 VLA了，这个领域还有很多工作可以做的子领域... 之前我们已经开展了第一期VLA论文指导班，反响很不错，很多同学联系我们第二期什么时候开 班， ...