Workflow
归一化
icon
Search documents
十年六万引,BatchNorm 封神,ICML 授予时间检验奖
3 6 Ke· 2025-07-17 08:52
一篇发表于2015年的论文,在十年后,于国际机器学习大会(ICML)2025上,被授予了"时间检验奖"(Test of Time Award)。 这篇论文就是深度学习领域无人不晓的《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。 它的出现,从根本上改变了研究者们训练深度神经网络的方式,成为AI技术发展进程中的一座关键里程碑。 一、一座无法绕过的丰碑 国际机器学习大会(ICML)的时间检验奖,旨在表彰十年前发表的、并在此后十年间对整个领域产生深远影响的论文。 获奖,意味着一项研究不仅在当时具有开创性,更重要的是,它的思想和方法经受住了时间的考验,成为了后续无数研究的基石。 Batch Normalization(批次归一化,简称BatchNorm)的获奖,可谓实至名归。 在工程实践中,BatchNorm更是成为了一个"默认选项"。开发者在构建神经网络时,几乎会下意识地在卷积层或全连接层后加入一个BatchNorm层。 * [10] A. A. K. K. 自2015年由谷 ...
一篇被证明“理论有误”的论文,拿下了ICML2025时间检验奖
猿大侠· 2025-07-17 03:11
梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 可以说它是让深度学习从小规模实验,走向大规模实用化和可靠性的关键技术之一。 | TITLE | CITED BY | YEAR | | --- | --- | --- | | Batch normalization: Accelerating deep network training by reducing internal covariate shift | 61928 | 2015 | | S loffe, C Szegedy | % 公众号·量子位 | | | International conference on machine learning 448-456 | | | 深度学习界的传奇论文,终于等来了它的"封神"时刻! 刚刚, ICML 2025 会议上,2015年发表的 Batch Normalization (批次归一化,简称BatchNorm)论文荣获 时间检验奖 。 这篇如今引用量 超过6万次 的开创性工作,是深度学习发展史上一个里程碑式的突破,极大地推动了深层神经网络的训练和应用。 当时谷歌研究员 Sergey Ioffe 和 C ...
下一代光刻机,太难了!
半导体行业观察· 2025-06-05 01:37
如果您希望可以时常见面,欢迎标星收藏哦~ 来源:内容 编译自 semiwi 。 在高数值孔径 EUV 光刻系统中,数值孔径 (NA) 从 0.33 扩展到 0.55。这一变化被宣传为可以避 免在 0.33 NA EUV 系统上进行多重图案化。直到最近才有具体的例子提供。事实上,在 DUV 双 重图案化已经足够的情况下,EUV 已经实现了双重图案化。 数值孔径的增加允许使用更多衍射级数或更宽的空间频率范围进行成像。对于同一幅图像,拥有更 多衍射级数可以产生更明亮、更窄的峰值,如图1的示例所示。 图 1. 对于相同的四分之一节距输入线图案,四个衍射级比两个衍射级产生更明亮、更窄的峰值。 NILS 因峰值更尖锐而得到改善。 峰值越尖锐,意味着归一化图像对数斜率 (NILS) 越好,因此光子吸收中散粒噪声的随机效应不会 那么严重。因此,与 0.55 NA 相比,0.33 NA 的直接打印图像更容易出现质量下降。 为了将散粒噪声保持在足够低的水平,以保证单次0.33 NA曝光,剂量必须增加到一定程度,使吞 吐量或光刻胶损失成为不利因素,例如> 100 mJ/cm 2。另一方面,如果将0.33 NA图案分成两个 单独曝光 ...