随着大模型的迅猛发展，混合专家（ MoE）模型凭借其独特的架构优势，成为扩展模型能力的重要 方向。MoE通过创新性的路由机制，动态地将输入token分配给不同的专家网络，不仅高效实现了模 型参数的规模化扩展，更在处理复杂任务时展现出显著优势。然而， 将 MoE模型在分布式集群环境 下进行训练时，训练效率不足，已成为亟待解决的难题。 实践 表明， MoE模型训练集群的效率面临两方面挑战：（1） 专家并行引入计算和通信等待 ， 当 模型规模较大时，需要切分专家到不同设备形成并行（ EP），这就引入额外 All-to-All 通信，同时 MoE层绝大部分EP通信与计算存在时序依赖关系， 一般的 串行执行模式 会 导致大量计算单元空闲 ， 等待 通信；（ 2） 负 载不均引入计算和计算等待 ， MoE算法核心是"有能者居之"，在训练过 程中会出现 部分热专家被频繁调用，而冷专家使用率较低 ；同时，真实训练数据的长度不一，不同 的模型层（如稀疏层、嵌入层等）的计算量也存在明显差异，造成不同卡之间计算也在互相等待。 形象地说， MoE训练系统就像一个交通拥塞严重的城区：1）人车混行阻塞，所有车辆（计算）必须 等待行人（通 ...

" 一半以上训练时间都浪费在了 「 等待 」 。 " 作者丨李希 随着大模型的迅猛发展，混合专家（ MoE）模型凭借其独特的架构优势，成为扩展模型能力的重要方 向。MoE通过创新性的路由机制，动态地将输入token分配给不同的专家网络，不仅高效实现了模型参数 的规模化扩展，更在处理复杂任务时展现出显著优势。然而， 将 MoE模型在分布式集群环境下进行训练 时，训练效率不足，已成为亟待解决的难题。 01 MoE大规模训练难题：一半以上的训练时间在等待？ 华为构建了名为 AutoDeploy 的 仿真平台 ，它是一个 基于昇腾硬件训练系统的 "数字孪生"平台，通过 计算/通信/内存三维度的多层级建模、昇腾硬件系统的高精度映射、全局化算法加速运行等技术， 能在 1 小时 内模拟 百万次训练场景 ， 实现 MoE模型多样化训练负载的快速分析 和自动找到与 集群硬件规格 匹配的最优策略选择。在训练实践验证中，该建模框架可达到 90%精度指标 ，实现低成本且高效的最优 并行选择。 针对 Pangu Ultra MoE 718B 模型，在单卡内存使用约束下，华为通过 AutoDeploy 以训练性能为目标 找到了 TP8/ ...