Workflow
理想VLM
icon
Search documents
不用给理想入选ICCV高评价, 牛的是理想的工作, 不是ICCV
理想TOP2· 2025-06-29 15:06
本文结构: 先介绍AI学术圈为什么很多特点与其他学科不一样,引入能发多篇顶会的中国公司其实蛮多的,含金量并不高。这块我很懂, 我上一段创业 受众就是ICCV/CVPR/AAAI/ICLR的投稿者。 再详细论述理想VLA的原始创新度是DeepSeek MoE级别,没有跟随特斯拉了(VLM之后就不是跟随了,是深度参考),并指出原始创新度低于DeepSeek的 MLA,MLA原始创新度低于Transformer。 目前有能力做出MoE级别原始创新的中国公司很少,这块很有含金量。 以下为正文: 25年6月27日,理想自动驾驶负责人表示自动驾驶团队5篇论文中稿ICCV,VLA交付后会把"梯队"拿掉。 李想补充到,理想基座模型团队还有三篇论文被录用,在措辞上对入选ICCV给予了很高评价。 TOP2上一段创业经历受众就是AAAI/ICML/NeurIPS/ICLR/CVPR/ICCV这些顶会的投稿者,所以TOP2对这块特别懂。 AI学术圈与其他学科圈特点有非常多不同 AI学术圈会议比期刊重要 ,本质原因是,AI学术发展速度太快,而期刊审稿周期太长,旧有的以期刊为中心的学术共同体范式难以满足AI学术圈的发展 需求。 AI会议 ...
理想的VLA可以类比DeepSeek的MoE
理想TOP2· 2025-06-08 04:24
本文经过认真思考,有任何不同意见都可在评论区留言,我都会回复的。 看待一个东西的角度有非常多种,当一个人说XX可以和XX类比时,一般是某一个角度有相似之处, 任意两个事物不太可能所有细节都可以类比。 理想VLA和DeepSeek MoE( 混合专家 )类比点: VLA和MoE本身的想法都有其他人先提过了,都是首次完整落地到另一个大领域,在其中有大量创 新,并取得良好结果。 理想暂时还没有自己的MLA( 多头潜在注意力机制 ),之后会有的。DeepSeek的MLA创新尺度是这 个方法的理念之前没人提过。 DeepSeek之前的MoE,专家数量一般只有8-16个,单个专家需处理多种类型知识,专业化程度低,不 同专家重复学习相同公共知识,参数利用率低。 DeepSeek的MoE核心通过 Fine-Grained Expert Segmentation( 细粒度专家划分)和 Shared Expert Isolation( 共享专家隔离),处理方式和原来的MoE已经非常不同了。 前者将单个专家拆分为更小的子专家(原专家隐藏层维度缩小至 1/4,数量增至4倍),让激活专家 组合灵活性显著提升(从120种组合的数量级增至 ...