NVIDIA Tensor Core 的演变：从 Volta 到 Blackwell

公众号记得加星标⭐️，第一时间看推送不会错过。 来源：内容编译自semianalysis 。 在人工智能和深度学习领域，GPU 计算能力的提升速度远超摩尔定律，年复一年地持续实现着"黄氏 定律"般显著的性能提升。推动这一进步的核心技术正是 Tensor Core。 尽管 Tensor Core 无疑是现代人工智能和机器学习的基石，但即使是许多经验丰富的从业者，对其也 仍未有深入的理解。GPU 架构以及基于该架构的编程模型的快速发展，使得机器学习研究人员和科 学家越来越难以跟上 Tensor Core 的最新变化并理解这些变化的影响。 在本问中，我们将介绍主流数据中心 GPU 的核心特性，首先解释性能工程的重要基本原理。然后， 我们将追溯 Nvidia Tensor Core 架构和编程模型的演变，并重点阐述其演变背后的动机。我们的最 终目标是提供资源，帮助理解 Nvidia 的 GPU 架构，并直观地了解其架构的演变。只有在解释完每 个架构之后，我们才能解释 Blackwell 张量核心及其全新内存层次结构的精妙之处。 需要强调的是，扎实的计算机架构理解能力是理解本文诸多讲解和讨论的先决条件。本文将简要介绍 ...