HUAWEI X HUXIU 三分之一个世纪前，加拿大学者们提出了经典的MoE模型神经网络结构，在人类探索AI的 「石器时代」中，为后世留下了变革的火种。 近十年前，美国硅谷的互联网巨擎在理论和工程等方面，突破了MoE模型的原始架构，让这 个原本被置于学术高阁的理念，化身成为了随后AI竞争的导火索。 如今，后发优势再一次来到了大洋此岸，以华为为代表的中国科技企业，纷纷提出对MoE架 构的优化重组方案。尤其是华为的MoGE架构，不仅克服了MoE负载不均衡及效率瓶颈的弊 病，还能够降本增效，便于训练和部署。 AI之战远未终结，但正如在其他领域中「多快好省」的中国产业底色一样，大模型这棵生于 西方长于彼岸的科技树，也同样会被东方智慧经手后，进化为更加普适和亲切的工具。 近期，虎嗅将打造《华为技术披露集》系列内容，通过一连串的技术报告，首次全面披露相 关的技术细节。 希望本系列内容能为业界起到参考价值，也希望更多人能与华为一起，共同打造长期持续的 开放协作生态环境，让昇腾生态在中国茁壮成长。 在通往通用人工智能（AGI）的进程中，混合专家（MoE）模型凭借动态稀疏计算优势，成 为大模型推理提效的关键路径。华为团队重磅 ...

机器之心发布 机器之心编辑部 在通往通用人工智能（AGI）的进程中，混合专家（MoE）模型凭借动态稀疏计算优势，成为大模型推理提效的关键路径。 华为团队重磅推出昇腾平台原生设计的 Pangu Pro MoE 72B模型，大幅降低计算开销， 并在SuperCLUE千亿内模型并列国内第一 。 通过系统级软硬协同优化、高性能算子融合优化、模型原生投机算法优化， Pangu Pro MoE 推 理性能提升 6~8 倍，在昇腾 300I Duo 上单卡吞吐可达 321 tokens/s，实现极致性价比；在昇腾 800I A2 上更可飙升至 1528 tokens/s ，全面释放硬件潜力，打造极致的推理体验。 技术报告地址： https://gitcode.com/ascend-tribe/ascend-inference- system/blob/main/%E6%98%87%E8%85%BE%E5%B9%B3%E5%8F%B0Pangu%20Pro%20MoE%E5%85%A8%E9%93%BE%E8%B7%AF%E9%AB%98%E6%80%A7%E8% 推理效率拉满：全链路推理系统优化，释放昇腾澎湃算力 在大模型 ...

随着大模型推理成本持续下降和国产芯片的飞速发展，政务、金融、医疗等对数据安全高度敏感行业， 正加速推进推理模型的国产化本地部署。面对市场上型号众多、性能差异显著的国产智算芯片，如何高 效、准确地压测模型推理性能，成为筛选出兼具高性能与低成本的芯片的关键挑战。 为攻克这一难题，中移齐鲁创新院自主研发"迅测"芯片推理性能自动压测工具，该工具创新性地构建 了"配置即测试"的压测模式，并集成了强大的数据自动解析能力，旨在破解国产芯片快速选型的瓶 颈。"迅测"工具的应用带来了显著的效率变革，单轮测试所需的人工值守时长从平均8小时大幅降至0.5 小时，数据整理耗时减少70%，整体芯片选型效率平均提升3倍。 采用标准化数据存储机制，自动计算并生成错误率、单路输出速度等核心性能指标，确保跨不同芯片平 台及异构环境的测试结果具有可比性。其内嵌的数据可视化引擎直观呈现芯片性能差异，结果一目了 然。此外，强大的自动化日志解析技术有效解决了海量压测日志需人工耗时汇总与格式整理的痛点。 截至目前，中移齐鲁创新院已成功利用"迅测"工具，完成了DeepSeek系列大模型在天数智芯、华为昇 腾、壁仞科技、瀚博半导体等多个主流国产计算平台上的 ...

在推理+搜索方向，通义实验室搜索团队已提出ZeroSearch、OmniSearch等工作，通过在特定的下游任务进行强化学习训练，让大模型在与 环境交互的过程中学习使用搜索引擎。 该团队认为， 仅在特定任务上训练会导致模型的泛化能力受限 ，难以适应更多场景下的检索推理任务。 受BERT模型在预训练过程中使用的掩码 （Mask） 预测任务启发，MaskSearch引入了 检索增强型掩码预测任务 。 也就是让模型使用搜索工具，预测文本中被遮蔽的部分，在预训练过程中有效学习通用的任务分解、推理等智能体策略，同时熟练掌握搜索引 擎的使用方法，为其后续适配多领域任务奠定基础。 通义实验室 投稿 量子位 | 公众号 QbitAI 为提升大模型" 推理+ 搜 索 "能力，阿里通义实验室出手了。 最新研究开源 全新 通用 预训练框架 —— MaskSearch ，在域内及跨域开放域问答任务上均较基线方法取得显著性能提升。 小模型甚至能媲美大模型表现。 不仅如此，MaskSearch可以兼容 监 督微 调 （ S FT） 和强化学习 （RL） 两种训练方法。 通过加入预训练的二阶段训练，MaskSearch相比只在下游任务进行 ...

报告显示此前 R1模型幻觉率在21%左右。 在开源平台HuggingFace上发布R1模型的更新后，5月29日晚，DeepSeek终于发布了官方公告介绍这次版本的具体能力迭代细节，其中包括深度思考能力强 化、幻觉改善和创意写作更好等。 值得一提的是，DeepSeek提到，新版DeepSeek R1 针对"幻觉"问题进行了优化。与旧版相比，更新后的模型在改写润色、总结摘要、阅读理解等场景中，幻 觉率降低了 45%-50% 左右，能够提供更为准确可靠的结果。 所谓幻觉即大模型的"胡说八道"，此前DeepSeek的幻觉率并不低，也被不少用户和开发者所讨论。5月15日，SuperCLUE曾发布最新一轮中文大模型忠实性 幻觉测评结果，显示此前的DeepSeek-R1模型幻觉率在21%左右，在测评的国内模型中排名第五。 doubao-1.5-pr 在测评数据上，官方表示，更新后的R1模型在数学、编程与通用逻辑等多个基准测评中取得了当前国内所有模型中首屈一指的成绩，并且在整体表现上已 接近其他国际顶尖模型，如 o3 与 Gemini-2.5-Pro。 gemini-2.5-pro-p1 gemini-2.5-flash-t ...

闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 大模型做数独，总体正确率只有15%？？？ 继出场自带十篇完整学术论文的 史上首个"AI科学家" 之后，Transformer作者Llion Jones又带着他的创业公司Sakana AI来搞事情了。 这次，Sakana AI公布了一个AI模型 解决数独问题能力的排行榜 。 问题集是该公司推出的 全新基准Sudoku-Bench ，包含了 从简单的4x4到复杂的9x9现代数独 问题，旨在考验大模型 创造性推理能力 。 榜单显示，大模型不仅总体正确率只有 15% ，在9×9的现代数独中，即使是高性能模型 o3 Mini High ，正确率也只有2.9%。 | 3 | oluvuu-pollull lesauci kvalu | | --- | --- | | Model | Puzzles Solved | | O3 Mini High | 14.0% | | Gemini 2.5 Pro | 11.0% | | Qwen 3 235B A22B | 8.0% | | Qwen 3 30B A3B | 7.0% | | Grok 3 Mini | 6.0% | ...

2025.05. 27 对于AI的回答，一位姚班学生认为AI做题思路与其一致，步骤更加清晰，相较于传统的答案更有利于 学生理解解题思路。 可以对比的是，去年高考结束后，有机构让包括GPT-4o、豆包、文心4.0在内的9家大模型尝试河南 的高考卷，并以河南的分数线评判，最终有4家大模型在文科高考中达到河南的一本线，但没有大模 型的理科分数达到河南省一本线。 有道相关负责人对记者表示，今年以来AI进展迅速，尤其是DeepSeek-R1带来了推理模型大爆发， 而大模型推理能力和交互能力在教育场景的适配性非常高，能够逐步解决个性化教学和答疑的需求， 而且提供的指导和答疑质量越来越高，所以选择与高考顶尖学霸进行同题测试，用一种直接明了的方 式向大众展示AI大模型能力的提升。 在题型选择上，主要基于难度和认知度的考量，上述负责人表示，"因为大家对高考的难度都是有概 念的，尤其是这种高难度的理科压轴题，容易引起关注，也能直观展示效果。" 上述人士透露，前段时间还做了北京最新高考二模（题库数据里没有的新题）的挑战。AI答题后由老 师进行批改，分数为697分（总分750分），达到"清北"水平。"毕竟去年AI集体做24年高考题的 ...

HUAWEI X HUXIU AMLA × 融合算子 × SMTurbo 让大模型推理速度与能效双重革命 没有人不在期待大模型能够成为下一个电动车，作为代表中国的新兴产业，在世界范围内掀 起狂澜。 然而主流的MoE架构大模型，却苦于其结构上的"先天不足"：巨大的硬件成本与多重拖累效 率的环节，使得中国企业在这场芯片堆砌与效率挖掘的苦径上难以提速。 作为智能基础设施提供商，华为在这场战役中另辟蹊径，利用其在数学算法和工程领域的深 厚积累，为DeepSeek显著提升了效率及用户体验。 山就在那里，但中国企业找到了不一样的登顶之路。 近期，虎嗅将打造《华为技术披露集》系列内容，全面揭秘超大规模MoE模型推理部署技 术，通过一连串的技术报告，首次全面披露技术细节。 希望本系列内容能为业界起到参考价值，也希望更多人能与华为一起，共同打造长期持续的 开放协作生态环境，让昇腾生态在中国茁壮成长。 《华为技术披露集》系列 VOL.5 ：昇腾亲和 它们不仅是模型的效率引擎，更是硬件性能的放大器 —— 通过标准化设计、硬件深度适配与 复用机制，让芯片处理海量数据时如虎添翼。 而昇腾此次开源的三大技术，正是算子优化的 "终极形态" ...

HUAWEI X HUXIU 没有人不在期待大模型能够成为下一个电动车，作为代表中国的新兴产业，在世界范围内掀 起狂澜。 然而主流的MoE架构大模型，却苦于其结构上的"先天不足"：巨大的硬件成本与多重拖累效 率的环节，使得中国企业在这场芯片堆砌与效率挖掘的苦径上难以提速。 作为智能基础设施提供商，华为在这场战役中另辟蹊径，利用其在数学算法和工程领域的深 厚积累，为DeepSeek显著提升了效率及用户体验。 山就在那里，但中国企业找到了不一样的登顶之路。 近期，虎嗅将打造《华为技术披露集》系列内容，全面揭秘超大规模MoE模型推理部署技 术，通过一连串的技术报告，首次全面披露技术细节。 希望本系列内容能为业界起到参考价值，也希望更多人能与华为一起，共同打造长期持续的 开放协作生态环境，让昇腾生态在中国茁壮成长。 《华为技术披露集》系列 VOL.4 ：通信优化 01 大模型的推理， 就只是算力吗？ 大语言模型(Large Language Models, LLMs) 自从其问世以来，便迅速成为全球科技领域乃至 整个社会的焦点。 根据Scaling law，大语言模型的能力与其参数量的对数正相关，因此大语言模型的参数 ...

机器之心发布 机器之心编辑部 在今年 2 月的 DeepSeek 开源周中，大模型推理过程中并行策略和通信效率的深度优化成为重点之一。 近日， 华为数学家出手，祭出 FlashComm，三箭齐发，解决大模型推理通算难题 ： 随着大语言模型（Large Language Models, LLMs）规模的指数级扩张，其部署形态也随之变化，显卡配置朝着规模化、集约化演进。从神经网络时代的单卡部署， 到稠密模型时代的多卡 / 单节点部署，再到以最近发布的 DeepSeek V3/R1 模型为代表的混合专家（Mixture of Experts, MoE）模型，大语言模型甚至会采用数百卡 组成的集群和超节点来部署。 可以说，模型推理早已不是「单兵作战」，而是一场高协同的「群体作战」。而在这基于集群的大模型推理中， 集合通信操作就像是一群工人协作盖房子时传递 材料和信息的方式，能让多个计算节点高效配合完成任务 。 由上可以看出， 集合通信操作是大模型推理中多个计算节点协作的「桥梁」，不同的并行策略（TP、DP、EP）通过这些操作实现高效的数据交互和计算，从而 加速大模型的推理过程 。 通信：Scaling law 头顶的 ...