近年来，LLM Multi-Agent系统引起广泛关注。它们各显神通，协同作战解决复杂难题。然而，一顿操作猛如虎，最终结果却"惨不忍睹"，一 整个任务失败。 这时候，你是不是头都大了： 究竟是哪个环节的哪个Agent出了岔子？ 允中 发自 凹非寺 量子位 | 公众号 QbitAI 在日益复杂的Multi-Agent系统中，由于Agent之间自主协作、信息链条长，失败不仅常见，而且诊断起来极其困难。如果我们不能快速定位 失败的根源，系统的迭代和优化就无从谈起。 针对这个问题，宾夕法尼亚州立大学与杜克大学联合Google DeepMind等机构的研究者们首次提出了"自动化失败归因"这一全新研究课题， 并为此构建了首个专用基准数据集Who&When，开发和评估了多种自动化归因方法。 这项工作不仅深刻揭示了该任务的复杂性，也为未来提升LLM Multi-Agent 系统的可靠性开辟了新的道路。 该论文获ICML 2025 Spotlight，代码与数据集已全部开源。 首次提出"自动化失败归因"课题 LLM驱动的Multi-Agent系统在很多领域展现出巨大潜力。然而，这些系统也存在着脆弱性：单个Agent的失误，Ag ...

清华大学&面壁智能 投稿 量子位 | 公众号 QbitAI 端侧性价比之王，清华大学和面壁智能团队开源新模型—— MiniCP M 4 ，提供 8B、0.5B 两种参数规模， 仅使用同级别开源模型22%的训练开销 ，就达到了同级别最优性能。 MiniCPM4-8B是 开源首个开源的原生稀疏模型，5%的极高稀疏度加持，让长文本、深思考在端侧真正跑起来。 在MMLU、CEval、MATH500、HumanEval等基准测试中，以仅22%的训练开销，性能比肩 Qwen-3-8B，超越Gemma-3-12B。 MiniCPM4-0.5B 在性能上，也展现出以小博大——在MMLU、CEval、BBH、HumanEval等基准测试中，MiniCPM4.0 -0.5B性能超越同级 的Qwen-3-0.6B、Llama 3.2、Gemma3， 并通过 原生QAT技术 实现几乎不掉点的int4量化以及600Token/s的极速推理速度。 在常见端侧芯片，比如Jetson AGX Orin与RTX 4090上，MiniCPM 4可实现长文本处理的5倍常规加速与极限场景下的百倍加速。 请看VCR： 目前团队已公开发布技术报告，该模 ...

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 为什么语言模型能从预测下一个词中学到很多，而视频模型却从预测下一帧中学到很少？ 这是UC伯克利大学计算机副教授 Sergey Levine 最新提出的灵魂一问。 他同时是Google Brain的研究员，参与了Google知名机器人大模型PALM-E、RT1和RT2等项目。 Sergey Levine在谷歌学术的被引用次数高达18万次。 "柏拉图洞穴"是一个很古老的哲学比喻，通常被用来说明人们对世界认知的局限性。 在文章的开头，作者提到人工智能就是在研究能够反映人类智能的灵活性和适应性的假想智能。 一些研究者推测，人类心智的复杂性和灵活性源自于大脑中应用的一个 单一算法 ，通过这个算法可以实现所有多样化的能力。 也就是说，AI如果能复现这个终极算法，人工智能就能通过经验自主获取多元能力，达到人类智能的高度。 在这个探索过程中，语言模型取得了非常成功的突破。 甚至，LLMs实现能力跃升背后的算法（ 下一词预测+强化学习微调 ），也非常简单。 单一终极算法 假设似乎就是AI模型的答案…… 然而，这个假设对视频模型并不适用。 语言模型与视频模型的对比 Serge ...

清华大学&面壁智能 投稿 量子位 | 公众号 QbitAI 端侧性价比之王，清华大学和面壁智能团队开源新模型—— MiniCP M 4 ，提供 8B、0.5B 两种参数规模， 仅使用同级别开源模型22%的训练开销 ，就达到了同级别最优性能。 MiniCPM4-8B是 开源首个开源的原生稀疏模型，5%的极高稀疏度加持，让长文本、深思考在端侧真正跑起来。 在MMLU、CEval、MATH500、HumanEval等基准测试中，以仅22%的训练开销，性能比肩 Qwen-3-8B，超越Gemma-3-12B。 MiniCPM4-0.5B 在性能上，也展现出以小博大——在MMLU、CEval、BBH、HumanEval等基准测试中，MiniCPM4.0 -0.5B性能超越同级 的Qwen-3-0.6B、Llama 3.2、Gemma3， 并通过 原生QAT技术 实现几乎不掉点的int4量化以及600Token/s的极速推理速度。 在常见端侧芯片，比如Jetson AGX Orin与RTX 4090上，MiniCPM 4可实现长文本处理的5倍常规加速与极限场景下的百倍加速。 请看VCR： 目前团队已公开发布技术报告，该模 ...

IDEAL团队 投稿 量子位 | 公众号 QbitAI 大幅缓解LLM偏科，只需调整SFT训练集的组成。 本来不擅长coding的Llama 3.1-8B，代码能力明显提升。 上海交大&上海AI Lab联合团队提出创新方法 IDEAL ，可显著提升LLM在多种不同领域上的综合性能。 此外，研究还有一些重要发现，比如： 具体来看—— IDEAL方法 问题建模： 首先按照不同 的领域准备高质量的训练数据集： ， 并给出对应的用于验证的验证集： 。通过在训练集上面训练模型θ，获得训练集上的最优参数：θ 论文 希望在验证 集上的损失达到最小。为了能够方便的调整训练集，论文引入了对应的变量β ，并将这个优化问题 显示地建模了出来： SFT后LLM部分能力甚至退化 大型语言模型 (LLM) 凭借其强大的理解和逻辑推理能力，在多个领域展现了惊人的能力。除了模型参数量的增大， 高质量的数据是公认的LLM性能提升最关键的影响因素。 当对模型进行监督微调（SFT）时，研究人员发现 LLM在多任务场景下常出现"偏科"现象 ——部分能力突出而部分 能力并未涨进，甚至退化。这种不平衡的现象导致大模型在不同的领域上能力不同，进而影响用户 ...

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 为什么语言模型能从预测下一个词中学到很多，而视频模型却从预测下一帧中学到很少？ 这是UC伯克利大学计算机副教授 Sergey Levine 最新提出的灵魂一问。 他同时是Google Brain的研究员，参与了Google知名机器人大模型PALM-E、RT1和RT2等项目。 Sergey Levine在谷歌学术的被引用次数高达18万次。 "柏拉图洞穴"是一个很古老的哲学比喻，通常被用来说明人们对世界认知的局限性。 Sergey Levine的这篇文章以《柏拉图洞穴中的语言模型》为题，又想要揭示AI的哪些缺陷呢？ 在文章的开头，作者提到人工智能就是在研究能够反映人类智能的灵活性和适应性的假想智能。 一些研究者推测，人类心智的复杂性和灵活性源自于大脑中应用的一个 单一算法 ，通过这个算法可以实现所有多样化的能力。 也就是说，AI如果能复现这个终极算法，人工智能就能通过经验自主获取多元能力，达到人类智能的高度。 在这个探索过程中，语言模型取得了非常成功的突破。 甚至，LLMs实现能力跃升背后的算法（ 下一词预测+强化学习微调 ），也非常简单。 单一终极算法 假设 ...

IDEAL团队 投稿 量子位 | 公众号 QbitAI 大幅缓解LLM偏科，只需调整SFT训练集的组成。 本来不擅长coding的Llama 3.1-8B，代码能力明显提升。 上海交大&上海AI Lab联合团队提出创新方法 IDEAL ，可显著提升LLM在多种不同领域上的综合性能。 此外，研究还有一些重要发现，比如： 具体来看—— SFT后LLM部分能力甚至退化 大型语言模型 (LLM) 凭借其强大的理解和逻辑推理能力，在多个领域展现了惊人的能力。除了模型参数量的增大， 高质量的数据是公认的LLM性能提升最关键的影响因素。 当对模型进行监督微调（SFT）时，研究人员发现 LLM在多任务场景下常出现"偏科"现象 ——部分能力突出而部分 能力并未涨进，甚至退化。这种不平衡的现象导致大模型在不同的领域上能力不同，进而影响用户体验。 上海交大和上海AI Lab的研究者迅速将目光聚焦到SFT训练的训练集上，是否可以通过调整训练集的组成来缓解LLM 偏科的情况？直觉上来看，直接将LLM的弱势科目的训练数据增加一倍，就可以让最后的结果发生变化。但是，由于 训练数据之间的耦合关系，研究者通过建模量化每个领域数据对于最终结果的 ...

金磊 发自 凹非寺 量子位 | 公众号 QbitAI 大模型的落地能力，核心在于性能的稳定输出，而性能稳定的底层支撑，是强大的算力集群。其中，构建万卡级算力集群，已成为全球公认 的顶尖技术挑战。 但是，在 华为 ，昇腾万卡算力集群，已经可以做到近乎 "永不罢工" 了： 或许有小伙伴要问了：AI算力需要如此24小时不间断的运作吗？ 关于这一切背后的秘密，华为在今天首次把技术给公开了出来。 高可用的核心：三套"智能保险系统" 答案是肯定的，需要，且有必要。 因为小到我们用手机导个航，背后都会有几十个AI模型在发力来分析路况、预测拥堵；再如医院用AI辅助诊断癌症，系统得在瞬间处理掉成 百上千的CT照片。 这些看似简单的智能应用，其实都离不开如 "超级大脑" 般的AI算力集群，需要它们全天候不停歇地运转着。 而要保证有这样的能力，高训练可用度、高线性度、快速消除故障，就相当于给AI发动机上了一份强有力的保险。 更严格来说，AI推理的可用度甚至还需要 达到99.95%的程度。 那么华为又是如何做到这点的？ AI大集群出问题时，定位故障特别麻烦；毕竟系统规模庞大，软件和硬件组成的技术栈错综复杂，而且调用链条还很长。 要解 ...

GSPN团队 投稿 量子位 | 公众号 QbitAI 二维线性传播：从行列并行到密集连接 视觉注意力机制 ，又有新突破，来自香港大学和英伟达。 Transformer的自注意力在NLP和计算机视觉领域表现出色——它能捕捉远距离依赖，构建深度上下文。然而，面对高分辨率图像时，传统自 注意力有两个大难题： 虽然线性注意力和Mamba等方法能把复杂度降到O(N)，但它们还是把图像当作一维序列处理，无法真正利用二维空间信息。 为此，香港大学与英伟达联合推出了 广义空间传播网络（GSPN） 。 GSPN采用二维线性传播，结合"稳定性–上下文条件"，将计算量从 O(N²) 或 O(N) 再降到√N级别，并完整保留图像的空间连贯性。这样，不 仅大幅提升了效率，还在多个视觉任务上刷新了性能纪录。 兼具空间连贯性和计算效率 GSPN的核心技术是 二维线性传播 与 稳定性-上下文条件 ，基于此，现有注意力机制与GSPN的对比如下： 作为GSPN的核心组件，二维线性传播包括两个关键点： 线扫描机制 对于二维图像，二维线性传播通过逐行或逐列的顺序处理进行其遵循线性循环过程，隐藏层通过前一行的隐藏状态和当前输入计算得出： 计算量巨大： ...

北大邓小铁课题组 投稿 量子位 | 公众号 QbitAI 给大模型当老师，让它一步步按你的想法做数据分析，有多难？ 结果是，连Claude-3.7和Gemini-2.5 Pro这样的顶尖选手，都开始"不听话"了。 在一个全新的测试基准中，它们面对多轮、不断演进的指令，最终的任务成功率最高仅有40%。 这项名为 IDA-Bench 的新基准，就是为了模拟真实世界中这种"边想边改"的分析场景而生。 它不再是给模型一道题，让它一口气算完；而是模拟一位真实的数据分析师，在对话中不断给出新指令，考察Agent在 多轮交互 中的真实 能力。 可以说，专治各种"自作主张"和"一意孤行"的AI。 值得一提的是，这项工作由一支星光熠熠的团队打造，汇集了 北京大学 与 加州大学伯克利分校 的 顶尖学者，其中不乏机器学习泰斗 Michael I. Jordan 教授，仿真科学领域专家 郑泽宇 (Zeyu Zheng) 副教授，以及ACM/IEEE Fellow 邓小铁 (Xiaotie Deng) 教授的身 影。 "不听话"的AI，问题出在哪？ 目前，我们看到的很多大模型数据分析工具，比如OpenAI、Gemini和Claude的 ...