AWS发布3nm芯片： 144 GB HBM3e，4.9 TB/s带宽

公众号记得加星标⭐️，第一时间看推送不会错过。 亚马逊网络服务 (AWS) 预览其下一代 Trainium AI 加速器 Trainium3 至今已近一年。今天，这款芯 片正式面世。在 AWS re:Invent 大会上，该公司宣布 Amazon EC2 Trn3 UltraServer 正式上线，这 是首批基于这款新芯片构建的系统，并作为其弹性计算云 (EC2) 服务的一部分提供。 Trainium3 由台积电采用 3 纳米工艺制造，单芯片可提供 2.52 PFLOPs 的 FP8 计算能力。该器件集 成了 144 GB 的 HBM3e 显存，提供 4.9 TB/s 的内存带宽。AWS 向HPCwire表示，这些性能提升源 于架构的改进，旨在平衡现代 AI 工作负载的计算、内存和数据传输。该公司表示，Trainium3 新增 了对 FP32、BF16、MXFP8 和 MXFP4 的支持，并增强了对结构化稀疏性、微扩展、随机舍入和集 体通信引擎的硬件支持。该公司称，这些新增功能旨在使芯片更好地适应 LLM、混合专家架构和多 模态系统的训练模式。 这些改进概述了芯片层面的新特性，但AWS表示，真正的规模优势在于 ...