十年六万引，BatchNorm 封神，ICML 授予时间检验奖
3 6 Ke·2025-07-17 08:52
一篇发表于2015年的论文，在十年后，于国际机器学习大会（ICML）2025上，被授予了"时间检验奖"（Test of Time Award）。 这篇论文就是深度学习领域无人不晓的《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。 它的出现，从根本上改变了研究者们训练深度神经网络的方式，成为AI技术发展进程中的一座关键里程碑。 一、一座无法绕过的丰碑 国际机器学习大会（ICML）的时间检验奖，旨在表彰十年前发表的、并在此后十年间对整个领域产生深远影响的论文。 获奖，意味着一项研究不仅在当时具有开创性，更重要的是，它的思想和方法经受住了时间的考验，成为了后续无数研究的基石。 Batch Normalization（批次归一化，简称BatchNorm）的获奖，可谓实至名归。 在工程实践中，BatchNorm更是成为了一个"默认选项"。开发者在构建神经网络时，几乎会下意识地在卷积层或全连接层后加入一个BatchNorm层。 * [10] A. A. K. K. 自2015年由谷 ...