本文第一作者为清华大学计算机系的硕士二年级研究生葛晨笛，研究方向为多模态大语言模型、自动机器学习和图机器学习。主要合作者为来自阿里巴巴集 团安全部的樊珈珮、黄龙涛和薛晖。通讯作者为清华大学的朱文武教授、王鑫副研究员。 近日，阿里巴巴集团安全部 - 交互内容安全团队与清华大学针对持续多模态指令微调的联合研究成果被机器学习顶级会议 ICML 2025 收录。本届 ICML 共收到 12,107 篇投稿，录用率为 26.9% 。 一、 研究背景 多模态大语言模型（ Multimodal Large Language Models, MLLMs) 通过结合视觉、语音等模态编码器与文本生成模型，展现出处理多模态数据的强大 能力。然而，在实际应用中，预训练的 MLLM 会随着用户需求和任务类型的变化，不断面临新的适配要求。如果直接针对新任务进行微调，模型往往会出 现灾难性遗忘 （ Catastrophic Forgetting) ，即丢失之前掌握的能力。 因此，如何让 MLLM 持续地适应新任务，同时保留过去的知识，成为一个核心挑战，这一问题被称为「持续多模态指令微调」 （ Continual Multimodal In ...