网络系列报告之交换机概览：IB性能占优，以太网开放占优

IB 性能占优,以太网开放占优 ——网络系列报告之交换机概览 报告要点: Scaling law 下算力需求持续扩张,基础硬件端将充分受益 OpenAI 的 Scaling Law 下,模型有效性和计算约束正相关。因此在 GPU 能力一定的情况下,如何提高集群的线性加速比,满足低时延、 大带宽、无阻塞的机间通信,从而降低多机多卡间数据同步的通信耗 时,成为模型训练侧新的核心议题。根据英伟达的财报后电话会,黄 仁勋认为推理需求在当下被极大低估。当下大模型企业把更多的精力 都花在提升大模型智能水平,因此绝大部分算力都被用在于训练。但 随着模型迭代逐步放缓及更多 AI 应用的落地,推理侧的需要也在快速 增加。 IB 胜在性能、以太网优在开放,看好 AI 推动的量、速双增 IB 协议由于源生的 RDMA 技术,从而天然的具有低时延高性能的特 征,在 AI 训练侧有更好的应用。而推理侧的需求方面,具有成本及开 放性优势的 RoCE 协议或将更占优。 IB 的网络硬件格局相对封闭,核心供应商 Mellanox 具主要份额。 GB200 的新架构通过充分提升单芯片的算力密度、应用散热效率更高 的液冷方式,实现了在更小的空间 ...