复杂系统科学
Search documents
信息论如何成为复杂系统科学的核心工具
3 6 Ke· 2025-12-24 08:51
关键词:信息论、熵、互信息、传递熵、整合信息(Φ)、部分信息分解(PID / PED)、O-信息 / Φᵣ、多尺度动力学 无论是气候变化、流行病传播、金融市场波动,还是大脑的认知功能,这些系统都由大量组件构成,组件间存在多样且动态的互动,因为这些 非平凡的互动具有如非线性、涌现、自适应和路径依赖等特征,导致其集体行为往往难以通过还原论预测。面对这些错综复杂的涌现现象,科 学家们迫切需要一套强大而普适的数学语言来对其进行描述、量化和理解。 起源于通信的信息论,因其能跨领域量化组件之间,系统与环境,整体与部分的互动,正逐渐成为复杂系统研究领域工具箱中不可或缺的一 环。本文旨在对Thomas F. Varley于2025年12月8日发表在《Physics Reports》上的这篇重要综述进行深入解读,系统阐述信息理论为何以及如何 成为复杂系统科学的基石,并详解其核心概念、进阶工具与实际应用。 想象一个天气预报。如果某地一年365天都是晴天,那么你对"明天天气"的不确定性为零,熵也为零。如果天气晴雨各半,你的不确定性最大,熵也最 高。因此,熵衡量的是在得知具体结果之前,我们对一个随机变量取值的"惊讶"程度的期望值。 ...
信息论如何成为复杂系统科学的核心工具
腾讯研究院· 2025-12-24 08:33
郭瑞东 本文 作者 陶如意 审校 无论是气候变化、流行病传播、金融市场波动,还是大脑的认知功能,这些系统都由大量组件构成, 组件间存在多样且动态的互动,因为这些非平凡的互动具有如非线性、涌现、自适应和路径依赖等特 征,导致其集体行为往往难以通过还原论预测。面对这些错综复杂的涌现现象,科学家们迫切需要一 套强大而普适的数学语言来对其进行描述、量化和理解。 起源于通信的信息论,因其能跨领域量化组件之间,系统与环境,整体与部分的互动,正逐渐成为复 杂系统研究领域工具箱中不可或缺的一环。本文旨在对Thomas F. Varley于2025年12月8日发表在 《Physics Reports》上的这篇重要综述进行深入解读,系统阐述信息理论为何以及如何成为复杂系统科 学的基石,并详解其核心概念、进阶工具与实际应用。 关键词:信息论、熵、互信息、传递熵、整合信息(Φ)、部分信息分解(PID / PED)、O-信息 / Φᵣ、多尺度动力学 信息理论的基石:核心概念与直觉构建 该文先详细讲解了信息理论的几个核心度量指标,从最基础的概念无疑是熵。据说香农在提出信息论之 后,找到冯诺依曼,询问他应该如何称呼新的不确定度量。 冯·诺 ...