揭秘LLM“思考”之谜：推理即“梯度下降”，元学习框架解构训练过程，还给优化提供新思路

RaML团队 投稿 量子位 | 公众号 QbitAI 近年来，大语言模型（LLM）以其卓越的文本生成和逻辑推理能力，深刻改变了我们与技术的互动方式。然而，这些令人瞩目的表现背后， LLM的内部机制却像一个神秘的"黑箱"，让人难以捉摸其决策过程。 上海AI Lab的研究团队的近期提出Reasoning as Meta-Learning（RaML)，尝试从 梯度下降 和 元学习 （Meta-Learning）的角度，揭示 了LLM如何"思考"，并为优化其性能提供了新思路。 RaML的核心洞察：推理即"梯度下降" RaML框架的核心在于一个直观的类比：LLM在解决问题时生成的"推理轨迹"（即一步步推导的过程），就像模型参数在优化过程中的"伪梯度 下降"更新。 这意味着，当LLM进行多步推理时，其内部状态（即模型参数）会像典型的参数优化过程一样，逐步地"调整"和"适应"，每一步都朝着更优的 解决方案逼近，直到得出最终的答案 。 研究团队通过理论推导发现，在Transformer模型中，每个推理轨迹的令牌都可以看作对参数的一次 "隐式更新" 。考虑典型的transformer块 的计算过程，当输入中增加一个推理轨迹令牌 ...