Pangu Ultra MoE是一个全流程在昇腾NPU上训练的准万亿MoE模型。最近华为盘古团队发布了Pangu Ultra MoE模型架构和训练方法的技术报告[1]，进一步披露了 这个模型的细节。 训 练 超大规模和极高稀疏性的 MoE 模型 极具挑战，训练过程中的稳定性往往难以保障。针对这一难题，盘古团队在模型架构和训练方法上进行了创新性设计， 成功地在昇腾 NPU 上实现了准万亿 MoE 模型的全流程训练。 盘古团队提出 Depth-Scaled Sandwich-Norm（DSSN）稳定架构 和 TinyInit 小初始化 的方法，在昇腾 NPU 上实现了 10+ T tokens 数据的长期稳定训练。此外，他们 还提出了 EP group loss 负载优化 方法，这一设计不仅保证了各个专家之间能保持较好的负载均衡，也提升了专家的领域特化能力。同时，Pangu Ultra MoE 使用了 业界先进的 MLA 和 MTP 架构，在训练时使用了 Dropless 训练策略。 破解准万亿 MoE 模型性能瓶颈 打造芯片协同的先进架构 近期，盘古团队在 MoE 模型训练领域再进一步，重磅推出参数规模高达 7 ...

HUAWEI X HUXIU 三分之一个世纪前，加拿大学者们提出了经典的MoE模型神经网络结构，在人类探索AI的 「石器时代」中，为后世留下了变革的火种。 近十年前，美国硅谷的互联网巨擎在理论和工程等方面，突破了MoE模型的原始架构，让这 个原本被置于学术高阁的理念，化身成为了随后AI竞争的导火索。 如今，后发优势再一次来到了大洋此岸，以华为为代表的中国科技企业，纷纷提出对MoE架 构的优化重组方案。尤其是华为的MoGE架构，不仅克服了MoE负载不均衡及效率瓶颈的弊 病，还能够降本增效，便于训练和部署。 AI之战远未终结，但正如在其他领域中「多快好省」的中国产业底色一样，大模型这棵生于 西方长于彼岸的科技树，也同样会被东方智慧经手后，进化为更加普适和亲切的工具。 近期，虎嗅将打造《华为技术披露集》系列内容，通过一连串的技术报告，首次全面披露相 关的技术细节。 希望本系列内容能为业界起到参考价值，也希望更多人能与华为一起，共同打造长期持续的 开放协作生态环境，让昇腾生态在中国茁壮成长。 《华为技术披露集》系列 VOL.7 ：模型训练 Pangu Ultra MoE是一个全流程在昇腾NPU上训练的准万亿MoE模型 ...

5月26日，"湾区人工智能产业创新联盟"在广州市南沙区正式成立。记者日前在南沙实地调研了解到， 当前南沙正在全力构建粤港澳大湾区乃至全球人工智能产业新高地，一大批人工智能企业集聚发展，推 动前沿技术与实体经济融合发展，人工智能产业呈现出蓬勃发展的势头。 ● 本报记者 武卫红 打造产业新高地 据介绍，创新联盟是由香港科技大学（广州）与华为联合港澳及国际知名机构共同发起，汇聚粤港澳大 湾区"产学研用金"多方力量，以"立足湾区、协同港澳、面向世界"为宗旨，旨在整合国际、港澳及内地 科研机构的技术资源，赋能南沙，辐射广州、广东乃至全国，推动南沙成为粤港澳大湾区人工智能创新 引领地、全国AI+产业发展风向标、世界人工智能人才集聚区。 以创新联盟成立为契机，南沙将全方位升级人工智能产业创新发展生态。创新联盟将聚焦三大核心任 务，全面推动南沙人工智能产业升级。在技术创新方面，创新联盟将重点在大模型训练、具身智能等关 键领域寻求突破，强化技术创新策源能力；在产业集聚方面，创新联盟将推动人工智能上下游企业集聚 发展，形成千亿级产业集群；在生态构建方面，创新联盟将推动建设公共算力平台、开放数据集与应用 场景库，构建全链条产业服务 ...

广东省科技厅二级巡视员黄江康在致辞中强调，联盟的成立是落实国家《新一代人工智能发展规划》的 重要举措，更是推动粤港澳大湾区建设"具有全球影响力的国际科技创新中心"的关键一步。 广州市委常委、南沙区委书记刘炜表示，南沙将聚焦平台建设、开放共享、场景应用与生态共赢，始终 以"创业者"的姿态、"合伙人"的诚意、"可预期"的环境，与联盟企业同心并肩、向新而行，带动更多产 业资源、优质项目落地南沙。 会上，多项人工智能项目集中签约。华为与香港科技大学(广州)启动"科教创新孵化中心"合作项目，产 教融合与科教融汇双向驱动；同时，华为与中铁隧道局合作规划"隧智汇"隧道工程行业大模型体系架 构、搭建安全可控的大数据平台底座，同步深化数字化人才共育，推动隧道工程全流程数智化转型。 5月26日，由广东省科学技术厅、广州市南沙区政府指导，香港科技大学(广州)、广州市南沙区科学技 术局联合主办的"湾区人工智能产业创新联盟成立大会"在广州南沙举行。活动汇聚政府、高校企业及国 际专家代表400余人，通过战略签约、政策发布、智库共建、专家座谈等系列活动，推动粤港澳大湾区 人工智能产业协同创新。 大会现场，由香港科技大学(广州)与华为联合港 ...

Group 1 - The core viewpoint of the article is that Guangdong has introduced policies to promote the high-quality development of the online gaming industry, focusing on technological advancements and collaboration with educational institutions [1] Group 2 - The policies encourage enterprises to conduct research and development around "bottleneck" technologies in the gaming sector, particularly in areas such as virtual engine development and data security [1] - Support is provided for the application of cutting-edge technologies like artificial intelligence in game development and the transformation of advanced gaming technologies to other fields [1] - The provincial government will allocate funds to support high-quality projects that achieve significant breakthroughs in gaming technology, with a maximum one-time subsidy of 5 million yuan available [1]

Core Insights - The co-founder of Zero One Everything, Gu Xuemai, has left the company several months ago to prepare for a new venture [1] - Zero One Everything has shifted its business strategy since Q4 of last year, focusing on lightweight model training, fine-tuning, and practical applications of AI [1] - The company’s COO, Huang Huiwen, stated that they will no longer develop ultra-large parameter base models, but will instead concentrate on AI market applications [1] - As of the beginning of 2025, Zero One Everything's total revenue has already surpassed the entire revenue of the previous year [1]

InfiniteHBD团队 投稿 量子位 | 公众号 QbitAI 随着大模型的参数规模不断扩大，分布式训练已成为人工智能发展的中心技术路径。 如此一来， 高带宽域的设计对提升大模型训练效率至关重要 。 然而， 现有的 HBD 架构在可扩展性、成本和容错能力等方面存在根本性限制 ： 以交换机为中心的HBD （如NVIDIA NVL-72） 成本高昂、不易扩展规模；以GPU为中心的HBD （如 Google TPUv3和Tesla Dojo） 存在 严重的故障传播问题；TPUv4等交换机-GPU混合HBD采用折中方案，但在成本和容错方面仍然不甚理想。 为解决上述问题， 北京大 学、阶跃星辰和曦智科技的研究团队提出了 InfiniteHBD ，这是 一种以光交换模组为中心的高带宽域架构 。 InfiniteHBD 通过将低成本光交换 （ OCS ， Optical Circuit Switching ） 能力嵌入每个光电转换模组，实现了数据中心规模的低成本可扩 展性和节点级故障隔离能力。 InfiniteHBD 的单位成本仅为 NVL-72 的 31% ， GPU 浪费率接近零 （比 NVL-72 和 TPUv4 ...

Group 1: AI Technology in Natural Resource Monitoring - The introduction of AI technology in natural resource monitoring significantly enhances the precision of identifying various tree species, which is crucial for detailed investigations of forests, grasslands, wetlands, and desertification [1][14] - AI can assist in the classification of land types, such as distinguishing between different vegetation types and improving the accuracy of land use assessments, thereby reducing manual workload [2][14] - The application of AI in data extraction, field verification, result validation, and analysis stages is expected to optimize the entire monitoring process, leading to increased efficiency and accuracy [2][14] Group 2: Evolution of Monitoring Techniques - The transition from traditional paper-based surveys to digital methods using tablets, and now to smartphone-based comprehensive monitoring, reflects the industry's adaptation to technological advancements [3][16] - Future expectations include the seamless integration of more advanced technologies into natural resource monitoring to continuously improve efficiency and expand operational boundaries [3][16] Group 3: Importance of Data and Technology Integration - The integration of high-resolution imagery and AI for automatic monitoring and data extraction is a key development in enhancing the capabilities of natural resource departments [2][14] - The establishment of automated models for result verification and the creation of local knowledge bases using big data analytics are essential for intelligent natural resource management [2][14]

姚高员指出，推进数字政府2.0建设是落实习近平总书记重要指示要求的杭州实践，是政府系统刀 刃向内的重大改革，是提升超大城市治理现代化水平的现实需要。要依托杭州数字经济、数字技术和数 字化改革先发优势，围绕政府履职更高效、便民惠企更有感、基层减负更显著、应用场景更智能、数据 价值更释放、系统建运更节约的目标，坚持"系统谋划、稳慎推进，实战实效、好用管用，集约节约、 综合集成，安全可靠、自主可控"的原则，推动数字政府建设取得新进展新成效。 姚高员强调，要聚焦集约化，强化项目建设统筹管理，探索政务应用系统集约运维改革，建立动态 评估监管机制，打造数字政府节约高效建运模式。要聚焦实战化，全面承接用好省建应用，迭代优化一 批、谋划新建一批特色应用，打造具有杭州辨识度的标志性成果。要聚焦智能化，启动城市大脑 GPT、"数智公务员"建设，打响全国首个政务模型训练场"金字招牌"。要聚焦产业化，形成一批可复制 可推广的杭州典型应用、终端产品、技术体系、运维经验，探索数据要素资源化资产化的杭州模式。要 聚焦国产化，牢固树立底线思维，构筑数智安全防护"免疫体系"。各地各部门要进一步强化组织领导、 责任落实、推进协同，确保数字政府2 ...

【深圳商报讯】（记者陈姝）记者日前获悉，腾讯技术团队针对DeepSeek开源的DeepEP通信框架进行 深度优化，使其在多种网络环境下均实现显著性能提升。经测试，优化后的通信框架性能在RoCE网络 环境提升100%，在IB网络环境提升30%，为企业开展AI大模型训练提供更高效的解决方案。相关技术 方案获得了DeepSeek公开致谢，称这是一次"huge speedup"代码贡献。 其次，腾讯还着力解决了GPU通信中的CPU控制瓶颈问题。通过基于IBGDA技术的优化，腾讯使得"控 制面"场景的操作也可以绕过CPU的"中转"，进一步降低了延迟和能耗，提升了整体通信效率。 同时，针对GPU直接"对话"时存在的传输顺序混乱难题，腾讯提出了"QP内时序锁"机制，使得多个 GPU间的数据传输能够精准、按顺序完成，即使同时处理1000多个数据传输任务，DeepEP也能自动理 顺先后顺序。 在腾讯的技术优化下，DeepEP不仅在RoCE网络实现性能翻倍，反哺到IB（InfiniBand）网络时更使原 有通信效率再提升30%。 目前该技术已全面开源，并成功应用于腾讯混元大模型等项目的训练推理，在腾讯星脉与H20服务器构 建的高 ...