国泰海通｜产业：华为盘古大模型与昇腾AI计算平台，共同构建软硬一体的AI技术体系

华为正通过从大模型设计到基础设施的软硬协同，探索构建其全栈 AI 竞争力的路径。 华为 AI 发展策略已逐渐从追赶并对标业界 SOTA 模型，转向为更好地 发挥自研昇腾硬件潜力而量身定做模型架构。这一双向协同进化路径，旨在解决 AI 模型规模化应用中的系统性问题，并构建一个由软硬件协同架构、算子与 软件栈构成的全栈技术体系。 盘古大模型的演进，其核心是为解决大规模分布式系统中的效率难题。 随着大语言模型从稠密架构全面转向混合专家（ MoE ）稀疏架构，业界普遍面临专家 负载不均衡这一系统性瓶颈，它制约了 MoE 模型在训练和推理中的实际性能。华为将此系统性问题作为其软硬架构创新的核心方向，标志着其关注点已从单 纯硬件或单纯 AI 算法问题，拓展至在自研硬件上更高效解决 AI 系统工程问题。 华为在大模型层面并行推出了两种创新路径。一方面， Pangu Pro MoE 通过架构破局，提出分组专家混合（ MoGE ）架构，旨在通过结构性设计解决负载不 均衡问题。另一方面 ， Pangu Ultra MoE 则通过系统级优化，以仿真先行的设计方法来优化模型架构从而更好的适配昇腾硬件，并通过贯穿训练和推理的协 同优化 ...