Workflow
超级点
icon
Search documents
人工智能系列:算力服务器和超节点
2025-10-20 14:49
超级点面临软件栈能力、芯片集成密度散热和更高功率电能储备挑战, 液冷和电源领域蕴含巨大投资机会,相关软件公司有望参与超节点建设 部署。 Q&A 当前人工智能领域的算力需求呈现出怎样的发展趋势? 自 2022 年以来,大语言模型的发展使得训练和推理对算力的需求呈现爆发式 增长。在训练方面,模型参数量已突破万亿级别,对显存容量和带宽提出了极 高要求,并且多种并行计算方式带来了大量通信需求,挑战在于如何动态分配 负载以提高 GPU 利用率。在推理方面,自 2024 年起,AI Agent 时代的到来 使得推理产生的 token 量指数级增长,数据中心需要实现从计算到软件的多层 次优化,以应对高吞吐量环境下的算力挑战。 超级点(SuperPOD)的概念及其发展历程是什么? 超级点指的是通过高密度集成计算单元和专用高速互联技术,实现近似单机性 能的大规模并行计算系统。其发展历程可以追溯到 2014 年英伟达推出 NVLink 总线协议,使 GPU 之间能够实现高速通信。2016 年,英伟达首次提 出超级点概念,通过高速互联技术整合传统 GPU 集群解决 AI 大模型训练中的 算力协同问题。2022 年,英伟达将 NV ...