近两百万人围观的Karpathy年终大语言模型清单,主角是它们
机器之心·2025-12-21 03:01
编辑|杜伟 2025 年还有 10 天就要结束,这意味着是时候进行一波年终总结了。 对于人工智能领域而言,2025 年是大语言模型(LLM)快速演进、重磅事件密集出现的一年。 就在昨天,知名 AI 学者 Karpathy 列出了一份清单,记录了他个人认为最重要、也多少有些出乎意料的「范式转变」。 这些真正改变了行业格局、并在概念层面让 Karpathy 印象深刻的变化会落在哪些领域呢?我们接下来一一来看(以第一人称)。 可验证奖励强化学习(RLVR) 2025 年初,几乎所有实验室的 LLM 生产训练流程都像下面这样: 这套流程稳定、可靠,曾长期被视为「工业级 LLM」的标准做法。 预训练(类似 2020 年的 GPT-2/3); 监督微调(SFT,类似 2022 年的 InstructGPT) 基于人类反馈的强化学习(RLHF,约 2022 年) 但在 2025 年,一种新的阶段浮出水面,并迅速成为事实上的标配: 可验证奖励强化学习(Reinforcement Learning from Verifiable Rewards,RLVR) 。 RLVR 的核心做法是,让模型在可自动验证的环境中接受强化学习训练 ...