TPU vs GPU 全面技术对比：谁拥有 AI 算力最优解？

作者：NCL 编辑：Feihong，Siqi SemiAnalysis 最近对 Google TPU v7/v8 的深度拆解，可能是目前公开信息里少数能同时讲清硬件规格、互联拓扑与 TCO（Total Cost of Owenship，资产 全生命周期总成本） 模型的系统性对比：文章中把 3D Torus + OCS 的设计哲学、以及 TPU 与 Nvidia GPU 在训练与推理中的成本结构差异拆到了可计算 的层面。 但 SemiAnalysis 的结论需要打折来看： • 文章中倾向于放大 TPU 的 MFU 优势（假设 TPU 40% vs GPU 30%），却没有充分讨论 FP8 精度下公开 MFU 数据的缺乏； • 强调 TPU 在训练场景的 TCO 领先，却对推理场景下 GPU 凭借 FP4 算力的反超着墨不多； • 详细介绍了 TPU 的软件优化，却淡化了这些优化本质上是在弥补 3D Torus 对不规则流量的天然劣势。 在这篇文章中，我们基于 SemiAnalysis 的数据框架，结合对训练、Prefill、Decode 三类场景做了再拆解，尝试对 TCO 效率路线进行更全面的分析对 比，以下是 ...