Workflow
英伟达GB200 NVL72
icon
Search documents
亚马逊(AMZN.US)开发专用冷却设备 应对AI时代GPU高能耗挑战
Zhi Tong Cai Jing· 2025-07-10 06:41
亚马逊(AMZN.US)周三表示,其云计算部门已开发出专门用于冷却下一代英伟达(NVDA.US)图形处理 器(GPU)的硬件设备——这些GPU被广泛用于人工智能相关的计算任务。英伟达的GPU为生成式人工智 能的爆发提供了强大动力,但它们消耗的能源极为庞大。这意味着,使用这些处理器的公司必须配备额 外的设备来进行冷却。 Dave Brown表示,客户现在可以通过名为P6e的计算实例使用这一AWS服务。这些新系统配合英伟达设 计的高密度计算硬件使用。英伟达的GB200 NVL72将72颗英伟达Blackwell GPU安装于单个机架中,并 通过互联方式协同工作,以训练和运行大型AI模型。 亚马逊此前已推出多种自主研发的基础设施硬件。该公司开发了用于通用计算和人工智能的定制芯片, 并设计了自有的存储服务器和网络路由器。通过运行自主硬件,亚马逊对第三方供应商的依赖减少,从 而有助于提高盈利能力。在第一季度,AWS交出了自2014年以来最佳运营利润率的成绩,该业务部门 也贡献了亚马逊的大部分净利润。 亚马逊曾考虑建设能够广泛部署液冷系统的数据中心,以充分发挥这些高功耗英伟达GPU的效能。但亚 马逊云服务(AWS)计算与 ...
计算机行业周报:超节点:从单卡突破到集群重构-20250709
行 业 及 产 业 计算机 2025 年 07 月 09 日 相关研究 《从 CloudMatrix 看超节点趋势!3D 打 印产业强趋势!——计算机行业周报 20250616-20250620》 2025/06/21 《字节 FORCE 大会亮点!华为 HDC 2025 关注点!——计算机行业周报 20250609-20250613》 2025/06/14 证券分析师 黄忠煌 A0230519110001 huangzh@swsresearch.com 李国盛 A0230521080003 ligs@swsresearch.com 林起贤 A0230519060002 linqx@swsresearch.com 杨海晏 A0230518070003 yanghy@swsresearch.com 洪依真 A0230519060003 hongyz@swsresearch.com 刘洋 A0230513050006 liuyang2@swsresearch.com 研究支持 曹峥 A0230525040002 caozheng@swsresearch.com 崔航 A0230524080005 cuihang@ ...
用“系统工程”打破算力封锁 昇腾的另类突围路径
Mei Ri Jing Ji Xin Wen· 2025-06-17 05:56
每经记者|王晶 每经编辑|马子卿 "昇腾算力到底能不能给大家底气和信心,有些人将信将疑,甚至认为昇腾训练不出先进的大模型。"华 为专家开场的这句话,揭示出人们对国产AI(人工智能)算力的焦虑:在美国芯片禁令的阴影下,这 支国产算力舰队究竟能否突破算力封锁、重构AI产业格局? 答案正随着盘古Pro MoE模型、盘古Ultra MoE模型、昇腾384超节点等各种实践的落地而变得清晰。 近日,记者从一位华为专家处获悉,华为发布的昇腾384超节点已经开始发货,这不仅是目前业界规模 最大的超节点,更是一项技术突破:华为将384颗昇腾AI芯片连接在一起组成了集群,通过全对等高速 互联的架构,基于系统工程的方法,对计算、内存、通信的极致优化调度,可提供高达300 PFLOPs的 密集BF16算力,该性能表现接近英伟达GB200 NVL72系统的两倍。 这引出一个关键问题:在单芯片工艺暂时落后的情况下,昇腾是如何实现算力超越的? "集群"绝非简单的"芯片堆叠",而是华为在极端压力下,以系统工程思维进行的一次"突围"。"华为内 部有个算力会战,把华为云、模型、底座、芯片、硬件工程、基础软件的人集结在一起,深度协同。打 造复杂、 ...
华为“算力核弹”超越英伟达的秘密
Guan Cha Zhe Wang· 2025-06-12 14:21
Core Viewpoint - The emergence of Huawei's Ascend CLoudMatrix 384 supernode, which surpasses NVIDIA's flagship NVL72 system by 70% in computing power, signifies a shift in the AI computing landscape from single-point breakthroughs to system-level innovations, driven by the need to overcome traditional computing limitations under U.S. sanctions [1][6][29]. Group 1: AI Computing Landscape - The AI computing race is transitioning from hardware-centric approaches to architecture redefinition, with Huawei's innovations highlighting a unique path for China's system-level advancements [1][6]. - Huang Renxun, CEO of NVIDIA, has expressed increasing anxiety regarding China's rapid advancements in AI technology, emphasizing the impossibility of halting China's progress in this field [2][5][9]. Group 2: Huawei's Technological Advancements - Huawei's Ascend CLoudMatrix 384 supernode utilizes domestic Ascend chips and achieves a total computing power of 300 PFlops, significantly exceeding NVIDIA's NVL72 system [1][6][14]. - The architecture of the Ascend CLoudMatrix 384 supernode is based on a "fully equal architecture," which enhances communication efficiency and overcomes traditional bottlenecks such as the "memory wall" and "communication wall" [1][18][20]. Group 3: Competitive Dynamics - The U.S. government's sanctions have prompted NVIDIA to incur a $5.5 billion inventory loss, while simultaneously highlighting the importance of the Chinese market for NVIDIA's future [5][6]. - Huang Renxun acknowledges that China's advancements in AI technology could lead to a significant reduction in NVIDIA's market share in China, which has dropped from 95% to 50% in recent years [9][22]. Group 4: System-Level Innovations - The Ascend CLoudMatrix 384 supernode's design allows for the integration of thousands of cards, enabling it to support larger models and enhance training efficiency [1][6][14]. - The use of optical communication technology in the Ascend CLoudMatrix 384 supernode allows for high bandwidth and low latency, which is crucial for large-scale AI model training [20][21]. Group 5: Future Implications - The successful deployment of the Ascend CLoudMatrix 384 supernode and its ability to train large models like the Pangu Ultra MoE model demonstrates the potential for domestic AI infrastructure to achieve self-sufficiency [26][29]. - The emergence of Huawei's technology provides a viable alternative to NVIDIA's offerings, potentially reshaping the competitive landscape in the AI industry [22][29].
从CoreWeave视角看算力租赁行业
傅里叶的猫· 2025-06-09 13:40
昨天写了一篇RTX 5090的文章,文中提到了关于近期RTX 5090的租赁价格问题,后台有朋友私信让 讲一讲算力租赁这个行业。这篇文章,我们结合国海证券一次关于算力租赁电话会议的内容,来从 CoreWeave的视角看下算力租赁行业。 正文 在人工智能技术迅猛发展的当下,算力已然成为数字经济时代的核心生产要素,算力租赁行业也随 之迎来了前所未有的发展机遇。CoreWeave 作为该领域的重要参与者,其发展轨迹和业务模式为我 们窥探整个算力租赁行业的面貌提供了独特视角。 CoreWeave 成立于 2017 年,总部位于美国,前身是加密货币挖矿企业 Atlantic。公司初期通过以太 坊挖矿积累了大量英伟达 GPU 资源,2019 年调整业务方向,聚焦 AI 云和基础设施建设。截至 2024 年底,CoreWeave 运营了 32 个数据中心,主要部署在美国低电力成本区域,并在欧洲科技中心如伦 敦、斯德哥尔摩等地设立初步节点,以满足客户对地理接近性的 AI 算力需求。累计部署的 GPU 数 量超过 25 万颗,其中大部分是英伟达 Hopper 架构的产品,公司也是英伟达 H100、H200、GH200 的高性能 ...
GPU集群怎么连?谈谈热门的超节点
半导体行业观察· 2025-05-19 01:27
以下文章来源于魔形智能 Magik Compute ,作者K君 魔形智能 Magik Compute . 为全球客户提供AGI Infra与AIaaS产品和服务 如果您希望可以时常见面,欢迎标星收藏哦~ 人工智能(AI)的浪潮正以前所未有的速度重塑各行各业,其背后离不开海量算力的支撑。当AI模型参数从 亿级跃升至万亿级,传统服务器已难以满足日益增长的算力需求与效率要求。为了打破这个瓶颈,一个全新的 概念应运而生——超节点 (Super Node)。 不止于"大":什么是超节点服务器? 简单来说, 超节点服务器就是大量高速计算芯片的高效统一结构 ,面对AI算力大潮的最优解。它并非计算硬 件的简单堆砌,而是将海量的计算单元(CPU/GPU/TPU等)以前所未有的密度和效率整合在一起,专门为应 对人工智能任务带来的庞大算力需求而生。 传统AI服务器虽然也集成了CPU、GPU等部件,但当AI模型参数动辄千亿、训练数据浩如烟海时,单个GPU 的显存和算力就如同杯水车薪。模型并行(将一个大模型拆分给多个GPU协同处理)成为必然选择。但问题来 了:参与模型并行的服务器之间需要进行海量、高速的数据交换,服务器间的以太网/ I ...
中银证券:成长主线不改,A股蓄势待催化
智通财经网· 2025-05-18 11:56
智通财经APP获悉,中银证券发布策略报告指出,短期A股市场或缺乏有力上行催化,但基本面修复及政策释放预期尚未证伪,市场下行风险有限,短期 市场或进入热点及风格加速轮动阶段。风格上,权重股的增配行情对市场风格构成短期扰动,经济弱复苏+信用磨底+宽货币环境下,成长主线不改,新 一轮趋势形成,可等待增量催化因素。 01 大势与风格 基本面预期或迎阶段性落地。本周初中美日内瓦经贸会谈达成联合声明,双方同意大幅降低双边关税水平,这一共识的达成提振了市场信心,叠加最新发 布的4月外贸数据,短期抢转口预期升温,航运及化工品受益。此外,本周公布了4月金融数据,政府债支撑下4月新增社融维持同比多增趋势,但结构 上,新增信贷出现明显季节性回落。4月社融存量同比增速回升至8.7%,预示基本面及A股盈利上行趋势不改。 下周4月经济数据即将披露,结合信贷及高频数据,预计4月内需上行动能环比趋缓,中美协议及宽货币阶段性落地,短期市场或缺乏有力上行催化,但基 本面修复及政策释放预期尚未证伪,市场下行风险有限,短期市场或进入热点及风格加速轮动阶段。风格上,权重股的增配行情对市场风格构成短期扰 动,经济弱复苏+信用磨底+宽货币环境下,成长主线 ...
策略周报:蓄势待催化-20250518
中银国际证券股份有限公司 具备证券投资咨询业务资格 策略研究 证券分析师:王君 tianran.gao@bocichina.com 证券投资咨询业务证书编号:S1300522100001 策略周报 (8610)66229061 jun.wang@bocichina.com 证券投资咨询业务证书编号:S1300519060003 证券分析师:徐沛东 (8621)20328702 peidong.xu@bocichina.com 证券投资咨询业务证书编号:S1300518020001 证券分析师:郭晓希 (8610)66229019 xiaoxi.guo@bocichina.com 证券投资咨询业务证书编号:S1300521110001 证券分析师:徐亚 (8621)20328506 ya.xu@bocichina.com 证券投资咨询业务证书编号:S1300521070003 证券分析师:高天然 蓄势待催化 成长主线不改,新一轮趋势形成可等待增量催化因素。 策略研究 | 证券研究报告 — 总量周报 2025 年 5 月 18 日 ◼ 基本面预期或迎阶段性落地。本周初中美日内瓦经贸会谈达成联合声明, 双方同意大幅 ...