函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025

FVG团队 投稿 量子位 | 公众号 QbitAI LLMs为什么总是灾难性遗忘？原来是功能激活在搞怪。 最近来自中国科学技术大学、香港城市大学和浙江大学的联合研究团队，通过对多个语言模型、任务序列和评估指标的系统分析，终于破解了 LLMs的灾难性遗忘之谜—— 遗忘行为具有高度的模型依赖性，而导致遗忘发生的本质却是功能激活的变化。 对此，团队基于函数向量构建遗忘分析框架，刻画和分析LLM内部功能的变化 （其中功能表示模型对某具体任务的处理能力，如求反义词、 乘法计算） ，进一步证实了遗忘并非简单地覆盖已有函数，而是 模型激活了带偏差的新功能 。 研究人员还设计了一种函数向量引导的训练方法 FVG ，在微调过程中可以有效保留并对齐函数向量，并在多个持续学习数据集上显著保护了 模型的通用学习能力和上下文学习能力。 目前相关研究论文已被ICLR2025 oral接收，代码也已在GitHub上公开。 接下来，我们一起来看看详细细节。 大语言模型的"记忆困境" 灾难性遗忘 是指模型在学习新任务时，之前学到的知识被新任务的学习过程所覆盖或干扰，导致模型在旧任务上的性能大幅下降。 例如，一个通用语言模型在学习新增的用户指令 ...