Workflow
Mistake Log(错题本)
icon
Search documents
别直接训,给主模型加个错题本,6B轻松超越8B
3 6 Ke· 2025-12-25 07:05
【导读】传统训练只关注模型输出对错,最新研究在大模型训练中引入「错题本」,记录了模型犯错时的内部思考状态,包括问题、推理过程和错误位 置,更接近人类反思学习。通过辅助模型学习这些「错题本」,能实时校正主模型预测,提升性能。 很多人回顾自己的学习经历时都会发现:能力真正产生跃迁,并不是刷题数量最多的时候,而是开始系统整理「错题本」的阶段。 关键并不在于把错误答案抄下来,而在于持续追问——当时为什么会这么想?是哪一步的判断出现了偏差?这种错误是偶发的,还是反复出现的思维模 式? 正是通过这种反思式学习,人类逐渐学会识别自身的「错误规律」,在复杂和不确定问题面前变得更加稳健。 那么,一个问题随之而来:大语言模型有没有属于自己的「错题本」? 在当前主流训练范式中,大模型的学习过程高度简化为一个循环: 从本质上看,这一过程强调的是「如何更好地拟合正确答案」。 模型只需要知道结果对不对,而并不真正关心:我当时是通过怎样的内部推理路径走到这个错误结论的? 这也揭示了一个关键缺失:当前的大模型并不缺数据,也不缺算力,而是缺少一种类似人类的深度反思能力——即围绕错误本身展开的结构化复盘。 伊利诺伊大学厄巴纳-香槟分校、普林斯顿 ...