机器之心报道 机器之心编辑部 近期，强化学习（RL）技术在提升语言模型的推理能力方面取得了显著成效。 然而， 后训练究竟是真正扩展了模型的推理能力，还是仅仅挖掘了预训练中已有的潜力？ 目前尚不明确。 一个核心挑战在于现代训练流程缺乏可控性：大规模预训练语料库不够透明，中期训练往往缺乏充分研究，且 RL 目标函数与未知的先验知识之间存在复杂 的交互作用。 为了回答这个问题，来自卡耐基梅隆大学（CMU）的研究者通过构建 基于 GSM-Infinite 的可控合成数据框架 ，在完全解耦的环境下，定量分析了预训 练、Mid-training（中期训练/CPT）和 RL 三者对模型推理泛化能力的因果影响。旨在剥离并独立分析预训练、中期训练以及基于 RL 的后训练各自的因 果贡献。 https://x.com/xiangyue96/status/1998488030836044112 研究者从两个维度对模型进行评估：针对更复杂组合的外推泛化能力，以及跨越不同表层语境的情境泛化能力。利用该框架，研究者调和了关于 RL 有效性 的不同观点。 研究表明： 仅当预训练留有足够提升空间，且 RL 数据针对模型的能力边界（即那些虽具 ...