AI计算基础设施

Search documents
宜信财富:构建AI工厂,全球数字竞争下实现突围
Jin Tou Wang· 2025-05-20 10:40
随着AI进入推理范式及多智能体阶段,分布式算力需求呈指数级增长。在推理场景中,AI模型需实时处理 海量数据以做出决策;多智能体系统要求多个智能体高效协作通信。传统计算架构难以应对如此庞大的 计算压力,这促使液冷技术、高带宽内存和专用互联网络等领域不断创新。液冷技术有效解决散热难题, 高带宽内存提升数据处理速度,专用互联网络实现低延迟通信,为分布式计算提供坚实支撑。 在科技飞速发展的当下,AI技术已成为推动各行业变革的核心力量,而AI计算基础设施作为其底层支撑,正 经历着从单一GPU集群向综合AI工厂的重大变革。 过去,单一GPU集群凭借强大的并行计算能力,在AI模型训练领域发挥了重要作用。但随着AI应用场景愈 发复杂多样,从智能语音助手到自动驾驶汽车,从医疗影像诊断到金融风险预测,单一GPU集群逐渐难以满 足需求。综合AI工厂应运而生,它将计算、存储、网络和冷却系统等关键要素有机整合。通过智能调度 算法,计算资源可根据不同AI工作负载动态分配,存储系统提供海量数据(603138)存储与快速访问,高速 网络确保数据高效传输,先进的冷却系统保障设备稳定运行。这种整合使得AI工厂能为各类AI任务提供 高度可扩展的解 ...
gtc第二天 发布新品
小熊跑的快· 2025-03-19 01:00
第二天 内容很多,发布了一系列新能,性能炸裂。 老黄也表达了b系列被云厂大幅采购,300w颗以上。发布了GB300 和Rubin系列等。公允评价,确实挺 好的。不过英伟达股价还是止不住的大跌。美股确实一言难尽! 2、 四大美国云服务商今年采购360万Blackwell芯片。 黄仁勋认为,AI计算相关的基础设施增长正处于 转折点,24年美国前四大云厂商已经采购130万颗Hopper架构芯片,25年又购买了360万颗Blackwell架 构芯片。预计28年智算中心资本开支将超过1万亿美金。 3、 Blackwell架构全面投产。 Blackwell架构的芯片已经全面投产,会议上再次展示了超级芯片Grace Blackwell NVLink 72(一个晶圆上集成了72个Blackwell GPU,并且有18个NVLink Switch,实现4位浮 点数FP4上1.4 EFLOPS的计算性能),并推出推出号称未来"AI工厂操作系统"的新开源软件Dynamo (一个"分布式推理服务库",基本上是一个开源解决方案,用于解决无法提供足够用户所需token的问 题),用Grace Blackwell NVLink72芯片搭载 ...