昇腾+鲲鹏双核暴击！华为打通MoE训练任督二脉再加速20%，内存省70%

令人惊喜的是，结果显示， MOE 训练在之前的基础上，吞吐又提升了 20% ，内存占用降低了 70% 。 这不仅是一次技术突破，更是引领 MoE 训练的风向标。 " Pangu Ultra MoE 的每一项突破，都体现了华为在AI底层技术 与工程化落地中的领先实力。 " 作者丨李希 最近，华为在 MoE 训练系统方面，给出了 MoE 训练算子和内存优化新方案：三大核心算子全面提速， 系统吞吐再提 20% ， Selective R/S 实现内存节省 70% 。 在通往更强大的 AI 路上， MoE 已成为科技巨头另一个首选路径。 只要 Scaling Law 没有失效，大模型的参数规模依旧不断扩大，由此 AI 智能水平才能不断攀升。 凭借独特的架构设计， MoE 正以前所未有的参数规模，成为突破大规模模型训练的算力瓶颈的关键路径 之一。 然而，如何将 MoE 潜力真正转化为高效的训练实践，一直是业界探索的难题。 此前，华为曾通过 Adaptive Pipe&EDPB 框架，实现了集群级高效分布式计算，让通信和计算能完美并 行，提高训练集群效率。 本次，华为通过昇腾与鲲鹏算力的深度协同，进一步实现了训练算子计算 ...