Bye，英伟达！华为NPU，跑出了准万亿参数大模型

金磊 发自 凹非寺 量子位 | 公众号 QbitAI 现在，跑准 万亿参数 的大模型，可以彻底跟英伟达Say Goodbye了。 例如负载均衡难、通信开销大、训练效率低等等。 而华为盘古团队（包含诺亚方舟实验室、华为云等）基于 昇腾国产算力平台 ，一举攻破了上述所有的挑战—— 6000+块昇腾NPU集群上完成了 7180亿（718B）参数MoE模型 的长期稳定训练，并通过多项突破性系统优化技术实现了显著性能提升。 这些创新大幅提高了训练效率，支撑了行业顶尖水平模型的开发！ 不得不说，"国产"二字在大模型硬件上的含金量还在持续上升。 纯国产NPU，丝滑跑通准万亿参数大模型 在拆解华为一系列"黑科技"之前，我们先需要更深入地了解一下训练超大参数MoE模型背后的困难。 完成此举的，正是 华为！ 技术报告：arxiv.org/abs/2505.04519 要知道，在此之前，训练万亿参数大模型这事，是有诸多"拦路虎"在身上的。 总体来看，在这条路上有"四大金刚"在严阵把守。 首先就是 架构参数优化难题 ，需在众多参数组合中探索最优配置，设计适配昇腾NPU的大规模MoE架构，实现计算资源的高效利用。 其次是 动态负载均衡 ...