MoE(混合专家模型)架构

Search documents
零一万物联创戴宗宏离职创业 | 智能涌现独家
3 6 Ke· 2025-05-08 10:22
文|周鑫雨 编辑|苏建勋 高性价比,曾经是零一万物在模型行业中主打的特色——这主要依赖于Infra层对训练效率的优化。据了解,零一万物AI Infra团队在两个月内就完成了千卡 GPU集群和配套系统的设计、搭建和交付。 在采访中,李开复曾表示,通过AI Infra的优化,零一发布的大模型Yi-34B的训练成本下降了40%。 情况在2024年下半年急转直下。这段时间,零一万物经历了AI应用业务探索的的阻滞,以及模型进展的不顺。 知情人士称,零一万物在技术路线判断上,也曾经出现过失误。这直接导致了零一万物没有及时跟进后来成为主流的MoE(混合专家模型)架构——直到 2024年10月16日,零一万物才发布了新的旗舰大模型Yi-Lightning。 《智能涌现》独家获悉,零一万物联合创始人、技术副总裁戴宗宏于近日离职创业。在零一万物期间,戴宗宏负责AI Infra团队,主要解决大批量并行训练 时的系统瓶颈,提升训练效率,降低训练成本。 据了解,戴宗宏的创业项目,在近期获得了创新工场的投资。 关于上述信息,零一万物回复《智能涌现》:零一万物联合创始人、技术副总裁戴宗宏数月前在创新工场支持下再次创业。截至目前,零一万物今 ...