理想司机Agent的一些细节

：基于2D/3D 信息编码整合进模型后，Agent 具备理解道路标牌【例如，出口，上下坡道，左右 转，电梯口，不允许通行，区域B12345，ABCDEFGG区 etc】的能力，和语音交互感知【左右转，靠边停 车，掉个头，快点慢点，甚至给出先去A区再靠边，或者掉头后再去C区】的能力。简单指令场景依赖的是 本地的多模态LLM，复杂指令是Token化后上云大参量的LLM，将任务拆解后转换成顺序任务后在本地LLM 执行。 ：具备自建关联点的能力【我这里为什么不说建地图而是建关联点】有就几个原因：首先更多的 是行车的关联结构，而并非记忆了精准的道路结构。因此车辆在调用这个关联点记忆很像人在地下车库开 车【大概要往哪个地方开，而并非是像Hd map 具有严格的驾驶轨迹限定】，换句话说，关联点建好后。理 论上，给Agent 需求后，会直接进行关联点分析，规划出一条最近的【可以符合通行逻辑】的地下/园区驾 驶轨迹。 当然现在他能力还有限，还是偶尔会出现开错路，然后触发掉头再开【对因为行车模型化 后，理论上可以触发无限制掉头，几乎不会卡死】 ：具备感知推理能力，而且怀疑整个AD Max Agent 场景是将行车感知摄像头和泊车 ...