IDEAL团队 投稿 量子位 | 公众号 QbitAI 大幅缓解LLM偏科，只需调整SFT训练集的组成。 本来不擅长coding的Llama 3.1-8B，代码能力明显提升。 上海交大&上海AI Lab联合团队提出创新方法 IDEAL ，可显著提升LLM在多种不同领域上的综合性能。 此外，研究还有一些重要发现，比如： 具体来看—— SFT后LLM部分能力甚至退化 大型语言模型 (LLM) 凭借其强大的理解和逻辑推理能力，在多个领域展现了惊人的能力。除了模型参数量的增大， 高质量的数据是公认的LLM性能提升最关键的影响因素。 当对模型进行监督微调（SFT）时，研究人员发现 LLM在多任务场景下常出现"偏科"现象 ——部分能力突出而部分 能力并未涨进，甚至退化。这种不平衡的现象导致大模型在不同的领域上能力不同，进而影响用户体验。 上海交大和上海AI Lab的研究者迅速将目光聚焦到SFT训练的训练集上，是否可以通过调整训练集的组成来缓解LLM 偏科的情况？直觉上来看，直接将LLM的弱势科目的训练数据增加一倍，就可以让最后的结果发生变化。但是，由于 训练数据之间的耦合关系，研究者通过建模量化每个领域数据对于最终结果的 ...

理解智能，并不只是研究者和工程师的课题。 文 丨 程曼祺 刘倩 大模型看起来已具备智能的形式：能陪你聊天，步步思考，做高等数学题，高效地写代码……这对很 多人来说已经足够——足以带来更多研究成果、产品机会、巨额投资和股价攀升。 而马毅是那类觉得不够的人，他于无声处开始提问：智能的本质是什么？ 这个问题的题面简单，答案却尚无共识。马毅认为，对智能的理解不应过于表面和短期，而应回到源 头厘清智能诞生和发展的历史。 自 2000 年从伯克利大学博士毕业以来，马毅先后任职于伊利诺伊大学香槟分校（UIUC）、微软亚研 院、上海科技大学、伯克利大学和香港大学，现担任香港大学计算与数据科学学院院长。他和团队提 出的压缩感知技术，到现在还在影响计算机视觉中模式识别领域的发展。 在浩瀚的宇宙里，除了我们正在一手制造却尚不完全可解释的 "机器智能" ，人类所见识过的智能只有 一个大样本：生命。 马毅认为，智能的本质是 "学习"——生命就是智能的载体，从 DNA 出现，到神经系统诞生和寒武纪 物种大爆发，再到人类的语言与数学的诞生，智能有不同的表现形式；但不变的是，智能都是在学习 外部世界的知识与规律，从而进行预测，使知识可以为我 ...