Workflow
硬件彩票
icon
Search documents
手机实现GPT级智能,比MoE更极致的稀疏技术:省内存效果不减|对话面壁&清华肖朝军
量子位· 2025-04-12 03:16
△ 《Configurable Foundation Models: Building LLMs from a Modular Perspective》论文 本期 「大模型创新架构」主题访谈 , 量子位 邀请到 面壁智能&清华CFM论文作者肖朝军 ,聊聊这场算力与效率的博弈以及大模型架构创 新的未来。 量子位智库 量子位 | 公众号 QbitAI 在大模型争霸的时代,算力与效率的平衡成为决定胜负的关键。 端侧部署一直是大模型落地的最后一公里,却因算力瓶颈困难重重。 面壁智能和清华走出了一条与MoE不同的路径—— 神经元级稀疏激活 ,让模型在保持性能的同时大幅降低资源消耗。 这次技术探索的背后,是一个融合脑科学灵感与工程创新的故事。 以下为 量子位 与 面壁智能&清华CFM论文作者肖朝军 的对话实录整理: 尤其手机端不可能像云端一样用好几台GPU服务器一起推几千亿参数规模的模型。手机内存有限,操作系统占一部分,个人应用需要一部 分,如果大模型把内存占满,那手机基本上就不可用了, 所以参数效率在端侧应用里非常重要 。 量子位:CFM与MoE(Mixture of Experts)的区别在哪里? 肖朝军: 我们的稀 ...