Workflow
英伟达H100 GPU
icon
Search documents
这种大芯片,大有可为
半导体行业观察· 2025-07-02 01:50
公众号记得加星标⭐️,第一时间看推送不会错过。 人工智能(AI)模型呈指数级增长,目前已达到万亿参数,这揭示了传统单芯片图形处理单元 (GPU)架构在可扩展性、能源效率和计算吞吐量方面的显著局限性。晶圆级计算已成为一种 变 革 性 的 范 式 , 它 将 多 个 小 芯 片 集 成 到 一 块 单 片 晶 圆 上 , 以 提 供 前 所 未 有 的 性 能 和 效 率 。 Cerebras晶圆级引擎(WSE-3)拥有4万亿晶体管和90万个核心,特斯拉的Dojo每个训练芯片拥 有1.25万亿晶体管和8,850个核心,这些平台都体现了晶圆级AI加速器满足大规模AI工作负载需 求的潜力。 本综述对晶圆级AI加速器和单芯片GPU进行了全面的比较分析,重点关注它们在高性能AI应用中的 相 对 性 能 、 能 源 效 率 和 成 本 效 益 。 同 时 , 也 探 讨 了 台 积 电 ( TSMC ) 的 晶 圆 上 芯 片 封 装 技 术 (CoWoS)等新兴技术,该技术有望将计算密度提高多达40倍。 此外,本研究还讨论了关键挑战,包括容错、软件优化和经济可行性,深入探讨了这两种硬件范式之 间的权衡和协同作用。此外,还 ...
五大原因,英伟达:无法替代
半导体芯闻· 2025-06-06 10:20
日益白热化的全球人工智能(AI) 芯片市场,尽管华为(Huawei) 推出Ascend 910C GPU 寄望协助 中国摆脱依赖英伟达(NVIDIA),但遇到明显阻力。 Wccftech 报导,字节跳动、阿里巴巴和腾讯等中国科技大厂,至今仍未大量订购华为AI 芯片。因 英伟达根深蒂固的生态系统(如CUDA 软体) 与华为产品不足。华为910C GPU 缺乏科技企业订 单,转向中国大型国企(SOEs) 和地方政府采购。市场策略转变,突显华为AI 芯片抢占主流市场的 严峻挑战。 来源:内容来自 wcctech 。 华为AI 芯片推广面临五大障碍,是多重因素交织,共同造成华为Ascend 910C GPU 市场推广巨 大阻力。这些障碍不仅限制了华为市场渗透率,也让中国科技大厂对产品望而却步。 首先,英伟达的CUDA 生态系统的根深蒂固。中国许多科技大逞在英伟达的CUDA 生态系统中投 入了大量资金与时间。 CUDA 是英伟达专为其GPU 开发的平行计算平台和程式设计模型,广泛应 用于AI 训练和高性能计算领域,其成熟的工具、函式库和庞大的开发者社群,已形成了一个难以 打破的「护城河」。 对于这些科技公司而言,一旦脱 ...
六年后再次面对禁令,华为云有了更多底气
36氪· 2025-05-16 09:21
CloudMatrix384超节点, 重构全球算力竞争格局。 5月13日,美国商务部工业与安全局(BIS)针对华为昇腾AI芯片发布全球禁令,宣称"在世界任何地方使用华为昇腾芯片均违反美国出口管制",紧接着 又将禁令封锁对象扩大到所有中国其他先进芯片(advanced computing ICs)。 巧合的是,禁令宣布期间,英伟达CEO黄仁勋正与其他美国科技高管随总统一同访问沙特。而在禁令出台同日,英伟达迅速宣布拿下"土豪"沙特阿拉伯国 的1.8万块AI GPU超大订单。 但管制归管制,这么大的中国AI市场,美国似乎又割舍不下。 就在几天前的5月9日,新加坡《联合早报》曝出,虽然中国特供的H20"阉割版"GPU又被禁售,英伟达将很快对H20进行"二次阉割",其INT8精度算力将 从296TFLOPs降低至不足100TFLOPs,整体性能下降超过60%,以再度卖给中国。 GPU性能下降超过60%,意味着大模型训练成本将成倍飙升。中国,真的还买吗? 与此同时,面对一再加码的美国半导体出口管制,华为也没闲着。早在今年4月,华为便推出了最新升级的CloudMatrix 384超节点技术。 这项最新技术能够将384张华为 ...
超越DeepSeek?巨头们不敢说的技术暗战
3 6 Ke· 2025-04-29 00:15
无可置疑的,DeepSeek-R1模型的面世使中国AI技术发展有了极大的优势侧,也标志着人工智能领域的 里程碑式突破。 不过,技术创新往往伴随应用成本的转移。约65%的早期采用者反馈,在实际部署中需要投入大量开发 资源进行适配优化,这在一定程度上削弱了其理论上的效率优势。 这款具有颠覆性意义的推理模型不仅在研发效率上展现出显著优势,其性能指标可与OpenAI等业界领 军企业的产品分庭抗礼,甚至基于中国的应用场景,可能还有所超越,而其所需计算资源较同类产品大 幅缩减近30%。 该模型的成功实践既印证了算法创新的无限可能,也引出了关键的技术进化命题,即当未来算法突破与 传统计算架构出现适配瓶颈时,行业将面临怎样的转变挑战? 当前主流大模型(如GPT-4、Gemini Pro、Llama3等)正以每月迭代2-3次的频率推进技术革新,持续刷 新性能基准。DeepSeek-R1通过独创的分布式训练框架和动态量化技术,成功将单位算力下的推理效能 提升40%,其研发轨迹为行业提供了算法与系统工程协同进化的典型案例。 而且,该团队研发的多头潜注意力机制(MLA)在实现内存占用降低50%的突破性进展时,也带来了 开发复杂度的显 ...
对ChatGPT说「谢谢」,可能是你每天做过最奢侈的事
36氪· 2025-04-22 10:28
你对AI说的每一句「谢谢」, 也许正在悄悄被「记录在案」。 来源| APPSO(ID:appsolution) 封面来源 | Unsplash APPSO . AI 第一新媒体,「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative AI 以下文章来源于APPSO ,作者发现明日产品的 朋友,你有没有对ChatGPT说过一句「谢谢」? 最近,一位X网友向OpenAI CEO Sam Altman提问:「我很好奇,人们在和模型互动时频繁说『请』和『谢谢』,到底会让OpenAI多花多少钱的电 费?」 尽管没有精确的统计数据,但Altman还是半开玩笑地给出了一个估算——千万美元。他也顺势补了一句,这笔钱到底还是「花得值得」的。 去年底,百度发布了2024年度AI提示词。 数据显示,在文小言APP上,「答案」是最热的提示词,总计出现超过1亿次。而最常被敲进对话框的词汇还包括「为什么」「是什么」「帮我」「怎 么」,以及上千万次「谢谢」。 但你有没有想过, 每和AI说一句谢谢,究竟需要「吃」掉多少资源? 凯特·克劳福德(Kate Crawford)在其著作《AI地图集》中指出,AI并非无形 ...