端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统

本工作提出了一种新型自动驾驶系统 KnowVal，该系统通过感知模块与知识检索模块的协同作用，实现视觉 - 语言推理能力。 团队构建了涵盖交通法规、防御性驾驶原则与道德考量的综合驾驶知识图谱，并为其开发了高效的基于大型语言模型的检索机制。通过设计集成世界模型与 价值模型的规划器，从而实现价值对齐决策。同时构建了人类偏好数据集用于训练价值模型。 一个智能驾驶系统，在迈向高阶自动驾驶的过程中，应当具备何种能力？除了基础的感知、预测、规划、决策能力，如何对三维空间进行更深入的理解？如 何具备包含法律法规、道德原则、防御性驾驶原则等知识？如何进行基本的视觉 - 语言推理？如何让智能系统具备世界观和价值观？ 来自北京大学王选计算机研究所王勇涛团队的最新工作 KnowVal 给出了一种有效可行的方案。 实验表明，KnowVal 兼容现有的端到端和 VLA 方法，在 nuScenes 数据集上实现了最低碰撞率，并在 Bench2Drive 基准测试中取得了最先进的性能表 现。 论文标题： KnowVal: A Knowledge-Augmented and Value-Guided Autonomous Driving S ...