Core Insights - Waymo's latest blog discusses advancements in safety validation and explainability methods under a new end-to-end paradigm, the operational framework of its large-scale driving model, and the data flywheel concept [2][4][8] Group 1: Safety Validation and Explainability - The safety validation and explainability methods are closely tied to Waymo's foundational model, which operates on a dual system: a fast system focused on perception and a slow system based on a Vision-Language Model (VLM) [2][4] - The VLM is designed for complex semantic reasoning, utilizing rich camera data and fine-tuned on Waymo's driving data to handle rare and complex scenarios, such as navigating around a vehicle on fire [4][5][7] Group 2: Data Flywheel Concept - Waymo's data flywheel consists of an inner loop based on reinforcement learning for simulation-validation-vehicle integration and an outer loop based on real vehicle testing [8][11] - The insights from the data flywheel emphasize the importance of vehicle data mining and the reliance on world model-based generative simulations [12] Group 3: Foundation Model Applications - The foundational model serves three main purposes, including vehicle data extraction, cloud simulation, and evaluation for safety and explainability under the new paradigm [6][11] - The model's architecture allows for the transformation of vehicle trajectory prediction into a next-token prediction task, leveraging large language models for enhanced performance [5][11]

本期内容是拾象 CEO 李广密对大模型公司阶跃星辰首席科学家张祥雨的访谈， 首发于「张小珺商业 访谈录」。 张祥雨专注于多模态领域，他提出了 DreamLLM 多模态大模型框架，这是业内最早的图文生成理解 一体化的多模态大模型架构之一，基于这个框架，阶跃星辰发布了中国首个千亿参数原生多模态大 模型 Step-1V。此外，他的学术影响力相当突出，论文总引用量已经超过了 37 万次。 一直以来，业界都相当期待一个理解、生成一体化的多模态，但直到今天这个模型还没出现，如何 才能达到多模态领域的 GPT-4 时刻？这一期对谈中，祥雨结合自己在多模态领域的研究和实践历 程，从纯粹的技术视角下分享了自己对多模态领域关键问题的全新思考，在他看来，虽然语言模型 领域的进步极快，但多模态生成和理解的难度被低估了： • 接下来 2-3 年，多模态领域会有两个 GPT-4 时刻：多模态推理和自主学习； • 多模态生成理解一体化难以实现的原因在于，语言对视觉的控制能力弱，图文对齐不精确，数据质 量有限，生成模块往往无法反向影响理解模块等； • 模型 scale 到万亿参数后，在文本生成和知识问答能力增强的同时，推理能力，尤其是数学， ...

本期内容是拾象 CEO 李广密对大模型公司阶跃星辰首席科学家张祥雨的访谈。 张祥雨专注于多模态领域，他提出了 DreamLLM 多模态大模型框架，这是业内最早的图文生成理解 一体化的多模态大模型架构之一，基于这个框架，阶跃星辰发布了中国首个千亿参数原生多模态大 模型 Step-1V。此外，他的学术影响力相当突出，论文总引用量已经超过了 37 万次。 一直以来，业界都相当期待一个理解、生成一体化的多模态，但直到今天这个模型还没出现，如何 才能达到多模态领域的 GPT-4 时刻？这一期对谈中，祥雨结合自己在多模态领域的研究和实践历 程，从纯粹的技术视角下分享了自己对多模态领域关键问题的全新思考，在他看来，虽然语言模型 领域的进步极快，但多模态生成和理解的难度被低估了： • 接下来 2-3 年，多模态领域会有两个 GPT-4 时刻：多模态推理和自主学习； • o1 范式的技术本质在于激发出 Meta CoT 思维链：允许模型在关键节点反悔、重试、选择不同分 支，使推理过程从单线变为图状结构。 目录 01 研究主线： 重新回归大模型 • 多模态生成理解一体化难以实现的原因在于，语言对视觉的控制能力弱，图文对齐不精确， ...