来源 | 机器之心 原文链接： 端到端智驾新SOTA | KnowVal：懂法律道德、有价值观的智能驾驶系统 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 本文只做学术分享，如有侵权，联系删文 一个智能驾驶系统，在迈向高阶自动驾驶的过程中，应当具备何种能力？除了基础的感知、预测、规划、决策能力，如何对三维空间进行更深入的理解？如 何具备包含法律法规、道德原则、防御性驾驶原则等知识？如何进行基本的视觉 - 语言推理？如何让智能系统具备世界观和价值观？ 来自北京大学王选计算机研究所王勇涛团队的最新工作 KnowVal 给出了一种有效可行的方案。 通过自动驾驶领域专用感知和开放式三维感知，能够抽取常见实例与长尾实例的 3D 目标检测结果与实例特征，以及面向开放世界的全场景占据栅格预测与 体素特征，抽取特征保证了整个系统的特征传递与可导；同时，通过利用轻型 VLM 实现的抽象元素理解，能够对上一时间帧知识检索分支要求的信息进行 补充，针对「是否是隧道、桥梁场景？是否是夜间场景？」等抽象概念进行自然语言描述。 论 ...

本工作提出了一种新型自动驾驶系统 KnowVal，该系统通过感知模块与知识检索模块的协同作用，实现视觉 - 语言推理能力。 团队构建了涵盖交通法规、防御性驾驶原则与道德考量的综合驾驶知识图谱，并为其开发了高效的基于大型语言模型的检索机制。通过设计集成世界模型与 价值模型的规划器，从而实现价值对齐决策。同时构建了人类偏好数据集用于训练价值模型。 一个智能驾驶系统，在迈向高阶自动驾驶的过程中，应当具备何种能力？除了基础的感知、预测、规划、决策能力，如何对三维空间进行更深入的理解？如 何具备包含法律法规、道德原则、防御性驾驶原则等知识？如何进行基本的视觉 - 语言推理？如何让智能系统具备世界观和价值观？ 来自北京大学王选计算机研究所王勇涛团队的最新工作 KnowVal 给出了一种有效可行的方案。 实验表明，KnowVal 兼容现有的端到端和 VLA 方法，在 nuScenes 数据集上实现了最低碰撞率，并在 Bench2Drive 基准测试中取得了最先进的性能表 现。 论文标题： KnowVal: A Knowledge-Augmented and Value-Guided Autonomous Driving S ...