《世界模型与自动驾驶小班课》
Search documents
答应大家的《自动驾驶世界模型》课程终于开课了!
自动驾驶之心· 2026-01-06 06:52
正式开课!添加助理领取优惠~ 讲师介绍 Jason:C9本科+QS50 PhD,已发表CCF-A论文2篇,CCF-B论文若干。现任国内TOP主机厂算法专家,目前从事端到端、大模型、世界模型等前沿算法的预研和量 产,并已主持和完成多项自动驾驶感知和端到端算法的产品量产交付,拥有丰富的端到端算法研发和实战经验。 课程大纲 点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 Jason老师新课《世界模型与自动驾驶小班课》正式开课啦! 自动驾驶之心联合 工业界大佬 共同开展,先前的《端到端与VLA自动驾驶小班课》备受大家好评,因 此我们进一步推出这门世界模型小班课, 课程聚焦于通用世界模型、视频生成、OCC生成等世界模型算法,涵盖特斯拉世界模型、李飞飞团队Marble等。欢迎大 家加入学习~ 这门课程讲如何展开 第一章:世界模型介绍 第一章主要针对自动驾驶世界模型概括性的内容讲解。 这一章老师会先复盘世界模型和端到端自动驾驶的联系,接着讲解世界模型的发展历史以及当下的应用案 例。然后介绍世界模型有哪些流派:纯仿真的世界模型、仿真+Planning、生成传感器输入、生成 ...
正式开课!三个月搞懂自动驾驶世界模型技术栈
自动驾驶之心· 2025-12-30 09:20
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 世界模型的愿景是理解并改变物理世界,核心在于以持续技术突破引领生成式AI自动驾驶范式,重塑自动驾驶底层能力。 2025年6月yann lecun发布V-JEPA 2,2025年8月DeepMind发布Genie 3,2025年11月李飞飞发布Marble。而在自动驾驶领域,关于世界模型的探索也一直没有停止。 最常见的方向是 视频生成 ,也是学术界和工业界探索最多的领域,像wayve的GAIA-1/2/3,上交CVPR'25的工作UniScene等等。其次是 OCC生成 ,比较经典的有 OccWorld、OccLLaMA,还有最近西交的SOTA工作II-World。 不少公司基于这些开源算法搭建自己的云端/车端世界模型,用于长尾数据生成或者闭环仿真/评测。一些公司也在尝试基于世界模型直接赋能车端驾驶能力。 但世界模型的定义仍然很模糊,生成 = 世界模型? 生成 + 重建 = 世界模型。 对于新入行的同学来说,总是搞不明白。 不少同学跟柱哥吐槽,相当多的时间"浪费"在踩 坑上了。 想要搞懂世界模型,完成数据生成、 ...
为什么世界模型对行业产生了这么大的影响?
自动驾驶之心· 2025-12-29 09:17
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 世界模型的愿景是理解并改变物理世界,核心在于以持续技术突破引领生成式AI自动驾驶范式,重塑自动驾驶底层能力。 2025年6月yann lecun发布V-JEPA 2,2025年8月DeepMind发布Genie 3,2025年11月李飞飞发布Marble。 而在自动驾驶领域,关于世界模型的探索也一直没有停止。最常见的方向是 视频生成 ,也是学术界和工业界探索最多的领域,像wayve的GAIA-1/2/3,上交 CVPR'25的工作UniScene等等。其次是 OCC生成 ,比较经典的有OccWorld、OccLLaMA,还有租金西交最新的SOTA工作II-World。还有一个领域是做 Lidar点云生 成 ,或者视觉和点云的联合生成,比如LiDARGen、LiDARCrafter等等。 不少公司基于这些开源算法搭建自己的云端/车端世界模型,用于长尾数据生成或者闭环仿真/评测。一些公司也在尝试基于世界模型直接赋能车端驾驶能力。 但世界模型的定义仍然很模糊,生成 = 世界模型? 生成 + 重建 = 世界模型。 对 ...
工业界大佬带队!彻底搞懂自动驾驶世界模型...
自动驾驶之心· 2025-12-11 03:35
Core Viewpoint - The article introduces a new course titled "World Models and Autonomous Driving Small Class," focusing on advanced algorithms in the field of autonomous driving, including general world models, video generation, and OCC generation [1][3]. Course Overview - The course is developed in collaboration with industry leaders and follows the success of a previous course on end-to-end and VLA autonomous driving [1]. - The course aims to enhance understanding and practical skills in world models, targeting individuals interested in the autonomous driving industry [11]. Course Structure - **Chapter 1: Introduction to World Models** - Discusses the relationship between world models and end-to-end autonomous driving, including historical development and current applications [6]. - Covers various types of world models, such as pure simulation, simulation + planning, and generation of sensor inputs and perception results [6]. - **Chapter 2: Background Knowledge of World Models** - Focuses on foundational knowledge, including scene representation, Transformer, and BEV perception [6][12]. - Highlights key technical terms frequently encountered in job interviews related to world models [7]. - **Chapter 3: General World Model Exploration** - Examines popular models like Marble from Li Fei-Fei's team, DeepMind's Genie 3, and Meta's JEPA, along with recent discussions on VLA + world model algorithms [7]. - **Chapter 4: Video Generation-Based World Models** - Concentrates on video generation algorithms, starting with Wayve's GAIA-1 & GAIA-2 and extending to recent works like UniScene and OpenDWM [8]. - **Chapter 5: OCC-Based World Models** - Focuses on OCC generation methods, discussing three major papers and a practical project that extends to vehicle trajectory planning [9]. - **Chapter 6: World Model Job Specialization** - Provides insights into the application of world models in the industry, addressing pain points and interview preparation for relevant positions [10]. Learning Outcomes - The course aims to equip participants with the skills to reach a level equivalent to one year of experience as a world model autonomous driving algorithm engineer [14]. - Participants will gain a comprehensive understanding of world model technologies, including video generation and OCC generation methods, and will be able to apply their knowledge in practical projects [14].
世界模型自动驾驶小班课!特斯拉世界模型、视频&OCC生成速通
自动驾驶之心· 2025-12-09 19:00
Core Viewpoint - The article introduces a new course titled "World Models and Autonomous Driving Small Class," focusing on advanced algorithms in the field of autonomous driving, including general world models, video generation, and OCC generation [1][3]. Course Overview - The course is developed in collaboration with industry leaders and follows the success of a previous course on end-to-end and VLA autonomous driving [1]. - The course aims to enhance understanding and practical skills in world models, which are crucial for the advancement of autonomous driving technology [11]. Course Structure Chapter 1: Introduction to World Models - This chapter covers the relationship between world models and end-to-end autonomous driving, the history of world models, and current application cases [6]. - It discusses various types of world models, including pure simulation, simulation plus planning, and generating sensor inputs and perception results [6]. Chapter 2: Background Knowledge of World Models - The second chapter focuses on foundational knowledge related to world models, including scene representation, Transformer technology, and BEV perception [6][12]. - It highlights key technical terms frequently encountered in job interviews related to world models [7]. Chapter 3: Discussion on General World Models - This chapter addresses popular general world models and recent trends in autonomous driving jobs, including models from Li Feifei's team and DeepMind [7]. - It provides insights into the core technologies and design philosophies behind these models [7]. Chapter 4: Video Generation-Based World Models - The fourth chapter focuses on video generation algorithms, showcasing significant works such as GAIA-1 & GAIA-2 and recent advancements from various institutions [8]. - It includes practical applications using open-source projects like OpenDWM [8]. Chapter 5: OCC-Based World Models - This chapter explores OCC generation algorithms, discussing three major papers and a practical project that extends to vehicle trajectory planning [9]. Chapter 6: World Model Job Topics - The final chapter shares practical experiences from the instructor's career, addressing industry applications, pain points, and interview preparation for related positions [10]. Target Audience and Learning Outcomes - The course is designed for individuals aiming to deepen their understanding of end-to-end autonomous driving and world models [11]. - Upon completion, participants are expected to achieve a level equivalent to one year of experience as a world model autonomous driving algorithm engineer, mastering key technologies and being able to apply learned concepts in projects [14].
世界模型与自动驾驶小班课正式推出!特斯拉世界模型、视频OCC生成一网打尽~
自动驾驶之心· 2025-12-09 07:59
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 Jason老师新课《世界模型与自动驾驶小班课》正式推出啦! 自动驾驶之心联合 工业界大佬 共同开展,先前的《端到端与VLA自动驾驶小班课》备受大家好评,因 此我们进一步推出这门世界模型小班课, 课程聚焦于通用世界模型、视频生成、OCC生成等世界模型算法,涵盖特斯拉世界模型、李飞飞团队Marble等。欢迎大 家加入学习~ 课程大纲 这门课程讲如何展开 第一章:世界模型介绍 第一章主要针对自动驾驶世界模型概括性的内容讲解。 这一章老师会先复盘世界模型和端到端自动驾驶的联系,接着讲解世界模型的发展历史以及当下的应用案 例。然后介绍世界模型有哪些流派:纯仿真的世界模型、仿真+Planning、生成传感器输入、生成感知结果等等流派。每一种流派在当前业界的应用,能解决什么问 题,处于自驾的哪个环节。学术界和工业界都在做什么,相关的数据集、评测都有啥。在这一章节为大家一一解答~ 第二章:世界模型的背景知识 早鸟优惠!开课即止~ 讲师介绍 Jason:C9本科+QS50 PhD,已发表CCF-A论文2篇,CCF-B论文若干。 ...