Hinton加入Scaling Law论战，他不站学生Ilya

一水 发自 凹非寺 量子位 | 公众号 QbitAI 我并不认为Scaling Law已经完全结束了 。 正当学生Ilya为Scaling Law"泼下冷水"时，他的老师、AI教父Geoffrey Hinton却毅然发表了上述截然相反的观点。 这一场面一出，我们不禁回想起了两件有趣的事。 一是Ilya几乎从学生时代起就坚信Scaling Law，不仅一抓住机会就向身边人安利，而且还把这套理念带进了OpenAI。 可以说，Ilya算是Scaling Law最初的拥趸者。 二是Hinton后来在回顾和Ilya的相处时，曾大肆夸赞Ilya"具有惊人的直觉"，包括在Scaling Law这件事上，Hinton曾坦言： 当时的我错了，而Ilya基本上是对的。 比如Transformer确实是一种创新想法，但实际上起作用的还是规模，数据的规模和计算的规模。 但是现在，这对师徒的态度却来了个惊天大反转。 所以，这中间到底发生了什么？ Scaling Law不死派：Hinton、哈萨比斯 其中，最大的挑战无疑是数据缺失问题。 大部分高价值数据都锁在公司内部，免费互联网数据已基本耗尽。 而这个问题将由AI自行解决，即模型通过推 ...