重大突破！刚刚，华为发布！

5月30日，券商中国记者从华为获悉，华为在MoE模型训练领域再进一步，重磅推出参数规模高达7180亿的全 新模型——盘古Ultra MoE，这是一个全流程在昇腾AI计算平台上训练的准万亿MoE模型。同时，华为发布盘 古Ultra MoE模型架构和训练方法的技术报告，披露众多技术细节，充分体现了昇腾在超大规模MoE训练性能 上的跨越。 中国AI产业注入强心剂。 业内人士分析，华为盘古Ultra MoE和盘古Pro MoE系列模型的发布，证明华为不仅完成了国产算力+国产模 型的全流程自主可控的训练实践，同时在集群训练系统的性能上也实现了业界领先。这意味着国产AI基础设 施的自主创新能力得到了进一步验证，为中国人工智能产业的发展提供了一颗"定心丸"。 国产算力与国产模型重大突破 据悉，训练超大规模和极高稀疏性的MoE模型极具挑战，训练过程中的稳定性往往难以保障。针对这一难题， 华为盘古团队在模型架构和训练方法上进行了创新性设计，成功地在昇腾平台上实现了准万亿MoE模型的全流 程训练。 在模型架构上，盘古团队提出Depth-Scaled Sandwich-Norm（DSSN）稳定架构和TinyInit小初始化的方法， ...