科大讯飞申请混合专家网络训练及问答相关专利，降低显存占用量

天眼查资料显示，科大讯飞股份有限公司，成立于1999年，位于合肥市，是一家以从事软件和信息技术 服务业为主的企业。企业注册资本231173.4185万人民币。通过天眼查大数据分析，科大讯飞股份有限 公司共对外投资了129家企业，参与招投标项目5000次，财产线索方面有商标信息2736条，专利信息 5000条，此外企业还拥有行政许可59个。 金融界2025年7月5日消息，国家知识产权局信息显示，科大讯飞股份有限公司申请一项名为"混合专家 网络训练方法、问答方法、相关设备及程序产品"的专利，公开号CN120258046A，申请日期为2025年 06月。 专利摘要显示，本申请公开了一种混合专家网络训练方法、问答方法、相关设备及程序产品，本申请将 混合专家网络中第二专家层FC2和Unpermute操作层融合为第一融合层，在前向传播过程仅需保存第一 融合层的输入及每个token对应专家的概率Probs，在反向传播过程，第一融合层的输入既可以用来计算 第一融合层参数的梯度，又可以用来计算Probs的梯度，无需额外保存FC2的输出，降低了需要保存的激 活的显存占用量。进一步还可以将Permute操作和FC1融合为第二融合层 ...