RaML团队 投稿 量子位 | 公众号 QbitAI 近年来，大语言模型（LLM）以其卓越的文本生成和逻辑推理能力，深刻改变了我们与技术的互动方式。然而，这些令人瞩目的表现背后， LLM的内部机制却像一个神秘的"黑箱"，让人难以捉摸其决策过程。 上海AI Lab的研究团队的近期提出Reasoning as Meta-Learning（RaML)，尝试从 梯度下降 和 元学习 （Meta-Learning）的角度，揭示 了LLM如何"思考"，并为优化其性能提供了新思路。 RaML的核心洞察：推理即"梯度下降" RaML框架的核心在于一个直观的类比：LLM在解决问题时生成的"推理轨迹"（即一步步推导的过程），就像模型参数在优化过程中的"伪梯度 下降"更新。 这意味着，当LLM进行多步推理时，其内部状态（即模型参数）会像典型的参数优化过程一样，逐步地"调整"和"适应"，每一步都朝着更优的 解决方案逼近，直到得出最终的答案 。 研究团队通过理论推导发现，在Transformer模型中，每个推理轨迹的令牌都可以看作对参数的一次 "隐式更新" 。考虑典型的transformer块 的计算过程，当输入中增加一个推理轨迹令牌 ...

广发证券首席金工分析师 安宁宁 SAC: S0260512020003 anningning@gf.com.cn 广发证券资深金工分析师 陈原文 SAC: S0260517080003 chenyuanwen@gf.com.cn 广发证券资深金工分析师 王小康 SAC: S0260525020002 wangxiaokang@gf.com.cn 广发金工安宁宁陈原文团队 摘要 公式化因子挖掘与AlphaForge框架介绍 ： 各类神经网络模型作为一种编码方案，能较好预测未来一段时间股票截面收益率的差异。而构造更多的公式化 特征作为模型输入也是比较重要的环节，从理论上具有丰富模型输入，代替一部分编码器职能的效果。传统的框架包括遗传规划、OpenFE等，均无法实 现具有方向性的优化迭代，而AlphaGen虽然通过将因子表现作为奖励不断优化生成动作，但依然存在超参数敏感、容易过拟合的情况。AlphaForge通过创 新性的框架设计，一定程度上解决了上述问题。 基于AlphaForge的因子挖掘 ： 该框架首先通过设计若干算子、回看天数和基础特征得到潜在的因子库。因子会依次经过生成器和预测器完成训 练，其中预测器的主 ...