前 OpenAI 研究员 Kevin Lu：别折腾 RL 了，互联网才是让大模型进步的关键

「停止研究 RL 吧，研究者更应该将精力投入到产品开发中，真正推动人工智能大规模发展的关键技术是互联网，而不是像 Transformer 这样的模型架 构。」 前 OpenAI 研究员 Kevin Lu 最近更新了一篇博客长文《The Only lmportant Technology ls The Internet》，直指互联网才是推动人工智能进步的核心技术， 是 next-token 预测的完美补充。 Kevin Lu 认为，没有 Transformer 架构，我们可能也会拥有 GPT-4.5 级别的大模型。在 GPT-4 模型以来，基础模型的能力并没有显著的提升，我们可能会 像 2015-2020 年时代的 RL 研究一样，重蹈覆辙，正在进行无关紧要的 RL 研究。 而互联网提供了丰富而海量的数据来源，这些数据具有多样性、能提供自然的学习课程、代表了人们真正关心的能力，并且是一种经济上可行的规模化部 署技术。相比之下，单靠优化模型结构、手工制作数据集或微调算法，都难以带来模型能力质的飞跃。 有趣的是，Kevin Lu 此前在 OpenAI 任职时的主要研究方向之一正是 RL。在推特上，有博主评论道，「当 ...