「Next-Token」范式改变！刚刚，强化学习预训练来了

| 机器之心报道 | | --- | 编辑：张倩、陈陈 谁说强化学习只能是蛋糕上的樱桃，说不定，它也可以是整个蛋糕呢？ 在 2016 年的一次演讲中，Yann LeCun 曾将强化学习比喻成蛋糕上的樱桃。他提到，「如果把智能比作一块蛋糕，那么无监督学习就是蛋糕的主体，监督学习就是 蛋糕上的糖霜，而强化学习则是糖霜上的樱桃。我们已经知道如何制作糖霜和樱桃，但却不知道如何制作蛋糕本身。」 从 2016 年至今，LeCun 对强化学习一直不看好。然而，不可否认的是，强化学习在提升 AI 模型能力方面正变得越来越重要。而且，来自微软的一项新研究显 示，它不仅在后训练阶段发挥着关键作用，甚至在预训练阶段也展现出巨大的潜力。 在这篇题为「Reinforcement Pre-Training」的论文中，作者提出了一种名为「强化预训练（RPT）」的新范式。在这种范式中，下一个 token 预测任务可以被重新定 义为一个通过强化学习训练的推理任务。在这一任务中，模型会因正确预测给定上下文中的下一个 token 而获得可验证的奖励。 这就好比在制作蛋糕的过程中，直接将樱桃融入到蛋糕的主体结构中。 作者指出，RPT 范式的好处在于 ...