华为，重大发布！

重大发布。 鸿蒙6是原生鸿蒙的第二个版本，余承东介绍，鸿蒙6将带来全新的互联和智能体验，全场景体验更易用，时 延更低；鸿蒙智能再进化，AI能力更开放。同时，HMAF鸿蒙智能体框架赋能鸿蒙应用和元服务智能化升级， 让人机交互更自然、强大、高效和协同。 据悉，训练超大规模和极高稀疏性的MoE模型极具挑战，训练过程中的稳定性往往难以保障。针对这一难 题，华为盘古团队在模型架构和训练方法上进行了创新性设计，成功地在昇腾平台上实现了准万亿MoE模型 的全流程训练。 在模型架构上，盘古团队提出Depth-Scaled Sandwich-Norm（DSSN）稳定架构和TinyInit小初始化的方法， 在昇腾平台上实现了超过18TB数据的长期稳定训练。此外，他们还提出了EP loss负载优化方法，这一设计不 仅保证了各个专家之间的能保持较好的负载均衡，也提升了专家的领域特化能力。同时，盘古Ultra MoE使用 了业界先进的MLA和MTP架构，在预训练和后训练阶段都使用了Dropless训练策略，实现了超大规模MoE架 构在模型效果与效率之间的最佳平衡。 在训练方法上，华为团队首次披露在昇腾CloudMatrix 384超节 ...