想象一下，你正在用手机导航规划长途路线，背后可能有几十个 AI 模型同时在分析路况、预测 拥堵；医院用 AI 辅助诊断癌症时，系统需要瞬间处理成百上千张 CT 影像。这些看似简单的智 能应用，背后都依赖着像 "超级大脑" 一样的 AI 算力集群在 24 小时不停运转。 如果把 AI 算力集群比作一个大型工厂的生产线，高可用性就相当于让这条生产线具备 "永不 罢工" 的能力，给 AI 算力集群上了一份 "保险"，让这个支撑智能时代的 "数字发动机" 既能 承 受 日 常 的 " 小 磕 小 碰 " ， 又 能 在 遇 到 突 发 故 障 时 保 持 稳 定 运 行 。 只 有 确 保 算 力 资 源 随 时 可 用、持续输出，才能让 AI 真正成为驱动业务创新的可靠引擎，而不是随时可能熄火的 "半成 品"。 高可用核心基础——面向超节点的故障感知、管理及容错 AI大集群问题定位复杂，系统规模大、软硬技术栈复杂、调用链长，先要跨域故障定界，然 后各域内部故障定界定位，故障诊断面临巨大挑战；当前定位时间从数小时到数天，技能要 求高 ，难以找到故障设备和根因。华为团队为了让集群运维工具能够快速找到问题原因，有 效提升 ...

想象一下，你正在用手机导航规划长途路线，背后可能有几十个 AI 模型同时在分析路况、预测拥 堵；医院用 AI 辅助诊断癌症时，系统需要瞬间处理成百上千张 CT 影像。这些看似简单的智能应 用，背后都依赖着像 " 超级大脑 " 一样的 AI 算力集群在 24 小时不停运转。 超节点需要做大超节点规模，才能充分发挥超平面网络的优势，目前业界没有使用光链路来构建超节 点的成功案例，因此华为团队提出了相应的超节点光链路软件容错方案。通过多层防护体系，借助超 时代答，绿色通道等关键技术实现无超节点级故障，通过链路级重传，光模块动态升降 Lane ， HCCL 算子重执行，借轨通信，双层路由收敛， Step 级重调度等特性，实现光模块闪断的故障率容 忍度 >99% 。在新增 10 倍 + 光模块后，通过软件可靠性措施，以及光链路压测技术等，实现光模 块闪断率低至电链路水平，保障了超平面的可靠性。通过构建 Step 级重调度能力，高频的 HBM 多 比特 ECC 故障恢复时间 缩短至 1min ，对于因为故障造成的用户的算力 损失下降 5% 。 高可用助力业务——万卡集群上千亿模型的线性度和训推快恢 线性度指标用于衡量训练 ...

秒级快恢、超95%线性度，华为如何让算力集群高效稳定工作？ 编辑丨李希 01 引言 想象一下，你正在用手机导航规划长途路线，背后可能有几十个 AI 模型同时在分析路况、预测拥堵；医院用 AI 辅助诊断癌症时，系统需要瞬间处理成百上千张 CT 影像。这些看似简单的智能应用，背后都依赖着像 "超 级大脑" 一样的 AI 算力集群在 24 小时不停运转。 高可用核心基础 ——面向超节点的故障感知、管理及容错 AI大集群问题定位复杂，系统规模大、软硬技术栈复杂、调用链长，先要跨域故障定界，然后各域内部故障定 界定位，故障诊断面临巨大挑战；当前定位时间从数小时到数天，技能要求高 ，难以找到故障设备和根因。 华为团队为了让集群运维工具能够快速找到问题原因，有效提升现网问题的闭环效率，提出了 全栈可观测能 力，构建了大规模集群的故障感知能力，主要由集群运行视图、告警视图、网络链路监控、告警接入和配置、 网络流可观测能力组成；同时还提出了包括全栈故障模式库、跨域故障诊断、计算节点故障诊断、网络故障诊 断等四大能力的故障诊断技术。 当前行业水平下，万卡级别的 AI集群平均每天会出现一次甚至多次故障，这不仅严重影响了训练效率，还 ...

HUAWEI X HUXIU 在通往通用人工智能（AGI）的路上，如何像其他领域一样实现弯道超车，是业界绕不开的 话题。 在过去的十余年时间里，各项单点技术飞速演进，但随着单点技术演进的边际效应递减和系 统复杂度的提升，系统性能的天花板逐步从单点技术的上限演变成系统工程上限：单点优势 越来越像是精致的零件，提升空间有限；但采用系统工程创新，各个部分完美配合、高效协 同，实现整个系统的效能最优，才有更积极的现实意义。 如何在发挥单点技术优势的同时，以整体视角重新构建路径，通过对复杂系统的极致把控与 再组织、找到新的突破可能？解决这个看似不可能的问题，就有望为我们独立引领最前沿技 术发展创造条件。 近期，虎嗅将推出《华为技术披露集》系列内容，通过一系列技术报告，首次全面详述相关 技术细节，为业界提供参考价值。 01 高可用核心基础： 面向超节点的故障感知、管理及容错 AI大集群问题定位复杂，系统规模大、软硬技术栈复杂、调用链长，先要跨域故障定界，然 后各域内部故障定界定位，故障诊断面临巨大挑战；当前定位时间从数小时到数天，技能要 求高 ，难以找到故障设备和根因。华为团队为了让集群运维工具能够快速找到问题原因，有 ...

金磊 发自 凹非寺 量子位 | 公众号 QbitAI 大模型的落地能力，核心在于性能的稳定输出，而性能稳定的底层支撑，是强大的算力集群。其中，构建万卡级算力集群，已成为全球公认 的顶尖技术挑战。 但是，在 华为 ，昇腾万卡算力集群，已经可以做到近乎 "永不罢工" 了： 或许有小伙伴要问了：AI算力需要如此24小时不间断的运作吗？ 关于这一切背后的秘密，华为在今天首次把技术给公开了出来。 高可用的核心：三套"智能保险系统" 答案是肯定的，需要，且有必要。 因为小到我们用手机导个航，背后都会有几十个AI模型在发力来分析路况、预测拥堵；再如医院用AI辅助诊断癌症，系统得在瞬间处理掉成 百上千的CT照片。 这些看似简单的智能应用，其实都离不开如 "超级大脑" 般的AI算力集群，需要它们全天候不停歇地运转着。 而要保证有这样的能力，高训练可用度、高线性度、快速消除故障，就相当于给AI发动机上了一份强有力的保险。 更严格来说，AI推理的可用度甚至还需要 达到99.95%的程度。 那么华为又是如何做到这点的？ AI大集群出问题时，定位故障特别麻烦；毕竟系统规模庞大，软件和硬件组成的技术栈错综复杂，而且调用链条还很长。 要解 ...

万卡集群可用度达到98%，集群秒级快恢(训练+推理)。 编辑丨李希 01 引言 你是否注意到，现在的 AI 越来越 "聪明" 了？能写小说、做翻译、甚至帮医生看 CT 片，这些能力背后离 不开一个默默工作的 "超级大脑工厂"——AI 算力集群。随着人工智能从简单规则判断进化到能处理万亿参 数的大模型，单台计算机的算力就像小舢板面对汪洋大海，而算力集群则是把上万台甚至几十万台计算机 像搭积木一样连接起来，形成一艘能承载巨量计算任务的 "算力航空母舰"。 当我们把上万台计算机整合成一个有机整体时，需要解决一系列世界级难题：如何让它们像精密钟表一样 协同工作？如何在部分设备故障时依然保持高效运行？如何快速修复大规模训练中的中断问题？接下来我 们将逐一揭秘这些支撑 AI 算力集群的关键特性，看看华为团队如何用工程智慧驯服这头算力巨兽。 02 超节点高可用： 24 小时不停工的智能工厂 就像医院的急诊系统必须时刻在线， AI 训练和推理也不能轻易中断。算力集群里每台计算机都有 "备用替 身"，当某台机器出现故障（比如突然断电或硬件损坏），系统会立刻启动备用机接管任务，就像接力赛中 接力棒无缝传递，确保自动驾驶训练、语音 ...

HUAWEI X HUXIU 在通往通用人工智能（AGI）的路上，如何像其他领域一样实现弯道超车，是业界绕不开的 话题。 在过去的十余年时间里，各项单点技术飞速演进，但随着单点技术演进的边际效应递减和系 统复杂度的提升，系统性能的天花板逐步从单点技术的上限演变成系统工程上限：单点优势 越来越像是精致的零件，提升空间有限；但采用系统工程创新，各个部分完美配合、高效协 同，实现整个系统的效能最优，才有更积极的现实意义。 如何在发挥单点技术优势的同时，以整体视角重新构建路径，通过对复杂系统的极致把控与 再组织、找到新的突破可能？解决这个看似不可能的问题，就有望为我们独立引领最前沿技 术发展创造条件。 近期，虎嗅将推出《华为技术披露集》系列内容，通过一系列技术报告，首次全面详述相关 技术细节，为业界提供参考价值。 我们期待通过本系列内容，携手更多伙伴共同构建开放协作的生态系统，助力昇腾生态在中 国的蓬勃发展。 《华为技术披露集》系列 VOL.13 ：万卡集群 你是否注意到，现在的 AI 越来越 "聪明" 了？能写小说、做翻译、甚至帮医生看 CT 片，这 些能力背后离不开一个默默工作的 "超级大脑工厂"——AI 算力集 ...

你是否注意到，现在的 AI 越来越 "聪明" 了？能写小说、做翻译、甚至帮医生看 CT 片，这些能力背后 离不开一个默默工作的 "超级大脑工厂"——AI 算力集群。随着人工智能从简单规则判断进化到能处理万 亿参数的大模型，单台计算机的算力就像小舢板面对汪洋大海，而算力集群则是把上万台甚至几十万台计 算机像搭积木一样连接起来，形成一艘能承载巨量计算任务的 "算力航空母舰"。 (2) 业务层容错： 租户无感知下，通过重试容忍网络闪断，将系统故障转为亚健康， (3) 运维层容错： 主要构筑亚健康感知和优雅恢复技术，通过主动方式将消减亚健康事件影响。 集群线性度：人多力量大的完美协作 当我们把上万台计算机整合成一个有机整体时，需要解决一系列世界级难题：如何让它们像精密钟表一样 协同工作？如何在部分设备故障时依然保持高效运行？如何快速修复大规模训练中的中断问题？接下来我 们将逐一揭秘这些支撑 AI 算力集群的关键特性，看看华为团队如何用工程智慧驯服这头算力巨兽。 超节点高可用：24 小时不停工的智能工厂 就像医院的急诊系统必须时刻在线，AI 训练和推理也不能轻易中断。算力集群里每台计算机都有 "备用替 身"，当某台机器 ...

机器之心发布 机器之心编辑部 你是否注意到，现在的 AI 越来越 "聪明" 了？能写小说、做翻译、甚至帮医生看 CT 片，这些能力背后离不开一个默默工作的 "超级大脑工厂"——AI 算力 集群。 随着人工智能从简单规则判断进化到能处理万亿参数的大模型，单台计算机的算力就像小舢板面对汪洋大海，而算力集群则是把上万台甚至几十万台计算机 像搭积木一样连接起来，形成一艘能承载巨量计算任务的 "算力航空母舰"。 当我们把上万台计算机整合成一个有机整体时，需要解决一系列世界级难题：如何让它们像精密钟表一样协同工作？如何在部分设备故障时依然保持高效运 行？如何快速修复大规模训练中的中断问题？ 接下来我们将逐一揭秘这些支撑 AI 算力集群的关键特性，看看华为团队如何用工程智慧驯服这头算力巨兽。 技术报告地址：https://gitcode.com/ascend-tribe/ascend-cluster- infra/blob/main/Overview/%E6%98%87%E8%85%BE%E9%9B%86%E7%BE%A4%E5%9F%BA%E7%A1%80%E8%AE%BE%E6%96%BD%E7%BB%BC%E8%BF ...