本文第一作者杜恒辉为中国人民大学二年级硕士生，主要研究方向为多模态大模型视听场景理解与推理，长视频理解等，师从胡迪副教授。作者来自于中国人民 大学，清华大学和北京腾讯 PCG AI 技术中心。 我们人类生活在一个充满视觉和音频信息的世界中，近年来已经有很多工作利用这两个模态的信息来增强模型对视听场景的理解能力，衍生出了多种不同类型的 任务，它们分别要求模型具备不同层面的能力。 过去大量的工作主要聚焦于完成单一任务，相比之下，我们人类对周围复杂的的世界具有一个通用的感知理解能力。因此，如何设计一个像人类一样对视听场景 具有通用理解能力的模型是未来通往 AGI 道路上一个极其重要的问题。 当前主流的学习范式是通过构建大规模的多任务指令微调数据集并在此基础上直接做指令 微调 。然而，这种学习范式对于多任务学习而言是最优的吗？ 最近中国人民大学高瓴人工智能学院 GeWu-Lab 实验室，清华大学和北京腾讯 PCG AI 技术中心合作发表的 CVPR 2025 论文指出， 当前这种主流的学习范式忽视 了多模态数据的异质性和任务间的复杂关系，简单地将所有任务联合训练可能会造成任务间的相互干扰。 为了有效实现任务间的显示互 ...