Workflow
多模态大型语言模型
icon
Search documents
自动驾驶基础模型全面盘点(LLM/VLM/MLLM/扩散模型/世界模型)
自动驾驶之心· 2025-06-21 11:18
点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 摘要 对于自动驾驶车辆而言,在复杂环境中安全导航依赖于应对广泛且多样化的罕见驾驶场景的能力。基于仿 真和场景的测试已成为自动驾驶系统开发与验证的关键方法。传统场景生成依赖基于规则的系统、知识驱 动模型和数据驱动的合成方法,但这些方法往往生成的场景多样性有限,且难以生成真实的高风险安全关 键场景。随着基础模型(Foundation Models)的出现——一种预训练的通用人工智能模型——开发者能够 处理异构输入(例如自然语言、传感器数据、高清地图和控制指令),从而实现对复杂驾驶场景的合成与 解析。本文围绕基础模型在自动驾驶场景生成与分析中的应用(截至2025年5月)开展综述研究。本综述提 出了一个统一分类体系,涵盖大语言模型(LLMs)、视觉-语言模型(VLMs)、多模态大型语言模型 (MLLMs)、扩散模型(DMs)和世界模型(WMs)在自动驾驶场景生成与分析中的应用。此外,我们回 顾了相关方法论、开源数据集、仿真平台和基准测试挑战,并探讨了针对场景生成与分析的专用评估指 标。最后,本文总结了当前面临的开放性 ...
预见 2025:《2025 年中国多模态大模型行业全景图谱》(附市场现状、竞争格局和发展趋势等)
Sou Hu Cai Jing· 2025-06-06 14:09
行业主要上市公司:阿里巴巴 ( 09988.HK,BABA.US ) ; 百度 ( 09888.HK,BIDU.US ) ; 腾讯 ( 00700.HK, TCEHY ) ;科大讯飞 ( 002230.SZ ) ;万兴科技 ( 300624.SZ ) ;三六零 ( 601360.SH ) ;昆仑万维 ( 300418.SZ ) ; 云 从科技 ( 688327.SH ) ;拓尔思 ( 300229.SZ ) 等 本文核心数据:备案数量 ; 收费模式 ; 市场规模 ; 区域占比等 产业概况 1、定义及特征 多模态 ( Multimodality ) 是指集成和处理两种或两种以上不同类型的信息或数据的方法和技术。在机器学 习和人工智能领域,多模态涉及的数据类型通常包括但不限于文本、图像、视频、音频和传感器数据。多 模态系统的目的是利用来自多种模态的信息来提高任务的性能,提供更丰富的用户体验,或者获得更全面 的数据分析结果。多模态大型语言模型 ( Multimodal Large Language Models,简称 MLLMs ) 是一类结合了 大型语言模型 ( Large Language Models,简称 ...