机器之心报道 编辑：泽南、Panda AI 也要「考古」式科研？ 人工智能的「第一性原理」扩展定律（Scaling Laws），把模型性能与算力等资源投入联系在了一起，是如今人们构建更先进大模型重要的参考标尺。 有关扩展定律的起源，存在很多种说法，有人认为是 2020 年 OpenAI 提出的，有人认为是 2017 年百度发现的，详情可参阅我们之前的报道《 遗憾不？原来百度 2017 年就研究过 Scaling Law，连 Anthropic CEO 灵感都来自百度 》。 前些天，康奈尔大学博士生、Meta 研究员 Jack Morris 发推称 Scaling Law 的真正探索者其实是贝尔实验室，这又进一步将历史向前推到了 1993 年。 他进一步解释说，这篇论文其实是一篇 NeurIPS 论文。贝尔实验室的研究者「在不同大小的数据集、不同大小的模型上训练了分类器并拟合了幂律」。这让 Morris 不禁感叹：「不敢相信这已经是 32 年前的事了。」 近日，OpenAI 联合创始人、总裁 Greg Brockman 也转发了这一消息，并表示这些结果跨越了多个数量级和几十年的时间，经历了时间的考验，可以说揭示 ...

明敏 发自 凹非寺 量子位 | 公众号 QbitAI 原来，Scaling Law在32年前就被提出了！ 不是2020年的OpenAI、不是2017年的百度， 而是1993年的贝尔实验室。 在一篇名为《Learning Curves: Asymptotic Values and Rate of Convergence》的文章里提出一种预测方法： 训练误差和测试误差随训练规模增加，都会收敛到同一个渐近误差值，这种收敛符合 幂律形式 。 这篇论文的研究初衷是为了节省训练分类器（classifiers）的计算资源 （果然啥时候都缺算力） 。 当时的机器学习算法能实现将输入数据分配到某个类别里，比如输入一张手写数字的像素点，判断它是不是某一个数组。 通过这种方法，研究人员可以预测模型在更大数据集上的表现。 这和现在大家常提的Scaling Law几乎一致： 在合理的范围内，通过简单地增加模型参数量（N）、训练数据量（D）和计算量（FLOPS，C），可以以一种可预测的、平滑的方式显 著提升模型性能。 而1993年的这篇论文来头也不小，作者一共5位，其中包含了 支持向量机 的提出者Vladimir Vapnik和Cori ...