超节点架构

Search documents
华丰科技(688629):高速连接国产先锋,受益AI短距互联
HTSC· 2025-07-04 12:41
通讯板块:与国内龙头厂商为伍,受益于 AI 集群内部短距互联需求增长 证券研究报告 华丰科技 (688629 CH) 高速连接国产先锋,受益 AI 短距互联 2025 年 7 月 04 日│中国内地 通信设备制造 首次覆盖华丰科技并给予"增持"评级,目标价 59.86 元/股,基于 26E 75xPE 估值。公司是国内高速连接器领军者,我们看好:1)在国内 AI 持续投入叠 加海外 GPU 供应受限背景下,国产算力放量或将带来可观的集群内短距互 联需求,公司为大客户开发的高速线模组产能正逐步释放,有望持续兑现业 绩增长;2)其他业务方面,"十四五"即将收官,军费预算增长下公司防 务订单有望向好,工业板块收入预计在新能源车高压趋势下实现稳健增长, 此外 CPU Socket、无人机系统连接方案等新产品有望在远期逐步导入市场。 铜连接应用有望在 AI 集群高速化、超节点化趋势下增加:1)GPU 算力与 带宽不断升级,要求更高信号速率;2)英伟达、华为等全球龙头均已发布 超节点架构,未来短距互联场景或显著增加。我们测算,29 年国内高速背 板连接器市场规模有望达 241 亿元,25E-29E 市场空间 CAGR 为 ...
从 DeepSeek 部署看,华为如何让 MOE 架构“迎来”海量“专家”?
AI前线· 2025-05-22 04:30
作者 | 褚杏娟 "模型开发已经从早期的算法层优化,转向系统工程层面的深度创新。"华为技术专家说道。 如今已经从数字化时代的比特流量转向 Token 经济体系。国内 Token 日消耗量从千亿级跃升至十万亿级,DeepSeek 等头部平台日均处理 6000 亿 Token 的实践,验证了高吞吐、低时延系统的商业价值。 同时,随着模型结构从单一架构探索发展为多模态融合创新,大模型的驱动部署模式发生根本转变。传统单卡部署已无法满足大模型高吞吐、高并发的 需求,分布式集群部署成为新常态。以 ChatGPT 和 DeepSeek 为例,用户规模突破亿级的时间从 1 个月压缩至 7 天,倒逼系统处理能力实现数量级提 升。如何提供更高的吞吐能力、更低的时延成为系统,成为各基础设施厂商的必做题。 DeepSeek 专调 DeepSeek 本身已经在 infra 层做了很多优化,但在企业部署过程中,华为自己也针对 DeepSeek 的模型做了各种优化,帮助企业全面兼容和支持应 用。 大模型训推方案 预训练方面,华为首先完整复现了幻方的 DualPipe 技术(仅开源了框架,没有开源代码),但该方案存在静态显存占用较高的问题。 ...
华为云黄瑾:传统计算架构难支撑AI代际跃迁,超节点架构是创新
Bei Ke Cai Jing· 2025-05-16 12:56
新京报贝壳财经讯(记者韦博雅)5月16日,在华为云AI峰会上,华为云副总裁黄瑾表示,随着大模型 训练和推理对算力需求的爆炸式增长,传统计算架构已难以支撑AI技术的代际跃迁,超节点架构的诞 生不仅是技术的突破,更是以工程化创新开辟AI产业的新路径。 编辑 岳彩周 校对 穆祥桐 黄瑾表示,AI算力的瓶颈,从单卡算力的瓶颈到单机内总线带宽的瓶颈,再到现在集群间通信带宽的 瓶颈,需求增长了1万倍。然而过去的8年里,单卡硬件的算力增长了40倍,但是节点内的总线带宽只增 长了9倍,跨节点的网络带宽只增长了4倍,这使得集群网络通信成为当前大模型训练和推理的最大挑 战。 在CloudMatrix 384超节点的分布式推理平台的加持下,通过高速互联总线,能够实现一卡一专家高效分 布式推理,单卡的MoE计算和通信效率大幅提升。而MatrixLink服务具有两层网络:超节点内部的 ScaleUp总线网络和跨超节点间的ScaleOut网络,可以让超节点内384张卡高速互联,时延低至微秒。 除此之外,华为云首创的EMS弹性内存存储,通过内存池化技术,实现显存和算力解绑,可大幅提升 资源利用率、性能和吞吐量,比如用EMS替代NPU中的显 ...