Shannon 信息论 本节先归纳一下 Shannon 的主要结论和方法论启示。下图是一般通信系统的原理图。 作者 | 白铂 博士 白铂 博士 华为 2012 实验室理论研究部主任 信息论首席科学家 引言 在本系列的第二篇《 信号处理篇 》中，我们引入了一些信息论的概念和方法来理解语义嵌入/向量化。本篇将完全从信息论的角度出发，深入解读原论文，探讨大 模型背后的第一性原理 ¹ 。 1948 年，Shannon 发表了题为 A Mathematical Theory of Communication 的划时代论文，奠定了现代数字通信的理论基础，推动了人类迈向信息时代 ² 。论文的主要 目标是用 数学方法 解决有噪声的数字通信系统的可靠传输问题。以此为起点，Shannon 及后来的专家学者建立了一套完备的数学框架与理论体系，这便是后来众所 周知的 信息论 。1949 年，Weaver 与 Shannon 合著了一篇论文，文中明确将通信问题分为三个层级 ³ ： 受到 Shannon 方法论的启发，本文尝试从推理的视角出发探讨大模型的可解释理论。我们发现，只要将 Shannon 的理论从以 BIT 为中心转换为以 T ...