专家一半时间在摸鱼？Adaptive Pipe & EDPB让昇腾MoE训练效率提升70%

" 一半以上训练时间都浪费在了 「 等待 」 。 " 作者丨李希 随着大模型的迅猛发展，混合专家（ MoE）模型凭借其独特的架构优势，成为扩展模型能力的重要方 向。MoE通过创新性的路由机制，动态地将输入token分配给不同的专家网络，不仅高效实现了模型参数 的规模化扩展，更在处理复杂任务时展现出显著优势。然而， 将 MoE模型在分布式集群环境下进行训练 时，训练效率不足，已成为亟待解决的难题。 01 MoE大规模训练难题：一半以上的训练时间在等待？ 华为构建了名为 AutoDeploy 的 仿真平台 ，它是一个 基于昇腾硬件训练系统的 "数字孪生"平台，通过 计算/通信/内存三维度的多层级建模、昇腾硬件系统的高精度映射、全局化算法加速运行等技术， 能在 1 小时 内模拟 百万次训练场景 ， 实现 MoE模型多样化训练负载的快速分析 和自动找到与 集群硬件规格 匹配的最优策略选择。在训练实践验证中，该建模框架可达到 90%精度指标 ，实现低成本且高效的最优 并行选择。 针对 Pangu Ultra MoE 718B 模型，在单卡内存使用约束下，华为通过 AutoDeploy 以训练性能为目标 找到了 TP8/ ...