单卡即可微调大模型！内存占用仅1/8，性能依然拉满 | ICML 2025

GOAT团队 投稿 量子位 | 公众号 QbitAI 诸如Qwen，GPT，DeepSeek R1等基础大模型已成为现代深度学习的基石。 然而，在应用于具体下游任务时，它们庞大的参数规模使得额外微调成本较高。 为了解决这一问题，近期的研究聚焦于 低秩适应 (LoRA) 方法，通过保持基座模型参数冻 结，仅对新增的小型轻量级适配器进行微调，从而降低微调成本。 尽管LoRA具有较高的效率，然而其微调性能往往不及全量微调。 面对这一挑战， 华中科技大学 和 香港中文大学 团队提出了一项全新的LoRA微调框架—— GOAT ，该工作已成功被 ICML 2025 正式接收。 这项研究提出了一套 自适应奇异值初始化 与 混合专家梯度对齐 策略，成功缓解低秩适应 （LoRA）性能不足的难题，在 25 个多领域任务中实现接近甚至超越全参数微调（Full FT）的效果，同时仅需调整极小比例参数。 低秩适应效果不如预期 传统LoRA通过在预训练权重矩阵中添加低秩适配器（如BA矩阵），大幅减少可训练参数 （通常仅需调整0.1%-5%参数），但其性能往往显著落后于全参数微调。 现有方法通常通过随机初始化或者静态奇异值分解（Singu ...