豆包是如何炼成的？字节放出自研万卡训练系统ByteRobust论文

机器之心报道 编辑：Panda 大型语言模型（LLM）训练的核心基础设施是 GPU。现如今，其训练规模已达到数万块 GPU，并且仍在持续扩大。同时，训练大模型的时间也越来越长。例如， 一个 405B 参数模型 LLaMA 3 的预训练，动用了 16,384 块 NVIDIA H100 GPU，耗时 54 天。字节跳动曾使用 12,288 块 GPU 训练了一个 175B 参数的模型。最近， xAI 建立了一个拥有 100,000 块 GPU 的集群以进一步扩大训练规模。 资源规模的扩张也带来了故障的普遍发生（例如 CUDA 错误、NaN 值、任务挂起等），这对训练的稳定性构成了巨大挑战。Meta 曾报告称，在 16,000 块 GPU 上 训练大模型时，硬件故障大约每 2.78 小时发生一次。 对于 LLM 训练，当前的故障诊断和处理实践通常依赖于在发生「故障即停止」 (fail-stop) 事件后进行日志分析和退出码评估，或者独占整个集群进行压力测试。 一旦确定了根本原因，训练任务会通过重新调度的资源和并行配置来恢复，并从远程文件系统重新加载通常由 TB 级数据组成的检查点 (checkpoints)。这种 ...