Workflow
稀疏注意力架构
icon
Search documents
长文本推理 5 倍提速!面壁MiniCPM4 端侧模型发布,0.5B模型效果秒杀同级
AI前线· 2025-06-12 06:07
Github 链接:https://github.com/openbmb/minicpm Huggingface 链接:https://huggingface.co/collections/openbmb/minicpm-4- 6841ab29d180257e940baa9b 整理 | 华卫 近日,新一代"面壁小钢炮" MiniCPM4.0 端侧模型发布,拥有 8B 、0.5B 两种参数规模 。 一款 8B 稀疏闪电版,带来端侧性能大跃升;一款 0.5B "以小博大",适配广泛终端场景。 模型相关链接 Model Scope 链接:https://www.modelscope.cn/collections/MiniCPM-4-ec015560e8c84d 截至目前,面壁小钢炮 MiniCPM 系列全平台下载量累计破 1000 万。 据介绍,MiniCPM4.0 -8B 是首个原生稀疏模型,5% 的极高稀疏度加持系统级创新技术的大爆发, 让长文本、深思考在端侧真正跑起来。在 MMLU、CEval、MATH500、HumanEval 等基准测试中, MiniCPM4.0 -8B 以仅 22% 的训练开销,性能比肩 ...
面壁小钢炮4.0发布:性能比肩 Qwen-3-8B,极限220倍提速
Xin Lang Ke Ji· 2025-06-10 09:37
新浪科技讯 6月10日下午消息,近日,面壁智能第四代"面壁小钢炮" MiniCPM4.0 端侧模型(代号"前进 四")发布。据悉,第四代小钢炮拥有 8B 、0.5B两种参数规模,实现了同级最佳的模型性能。可让长 文本、深思考在端侧真正跑起来,实现220倍极限加速。 据悉,MiniCPM 4.0 模型采用的InfLLMv2稀疏注意力架构改变了传统 Transformer 模型的相关性计算方 式,有效摆脱了逐字重复计算的低效,将稀疏度从行业普遍的40%-50%,降至极致的5%,注意力层仅 需1/10的计算量即可完成长文本计算。且对算子底层重写,进一步加速提升,并使得对文本相关性精准 性大大提升。 值得一提的是,DeepSeek 使用的长文本处理架构NSA(Native Sparse Attention)也引用并采用了与 InfLLM相同的分块注意力计算思路,但其对于短文本的推理较慢,InfLLMv2则很好地解决了NSA在短 文本推理上的短板。 在缓存消耗上,MiniCPM 4.0-8B在 128K 长文本场景下相较于Qwen3-8B仅需 1/4 的缓存存储空间。在速 度、性能飙升的同时,又做到了模型极致压缩,让端 ...
面壁MiniCPM4端侧模型发布:长文本推理 5 倍提速,0.5B 模型拿下新SOTA
AI科技大本营· 2025-06-10 09:31
MiniCPM4.0 -0.5B 在性能上,也展现出惊人的以小博大—— 在MMLU、CEval、BBH、HumanEval等基准测试中,MiniCPM4.0 -0.5B性能秒杀同级 的 Qwen-3-0.6B、Llama 3.2、Gemma3,并通过原生QAT技术实现几乎不掉点的int4量化,实现了 600 Token/s 的极速推理速度。 模型相关链接 https://arxiv.org/pdf/2506.07900 「前进四」速度狂飙,快至220 倍! 2025 智源大会,新一代「面壁小钢炮」 MiniCPM4.0 端侧模型发布。一款 8B 稀疏闪电版,带来端侧性能创新式大跃升;一款 0.5B 实力演绎以小博 大,适配广泛终端场景。 MiniCPM4.0 -8B 是首个原生稀疏模型,5%的极高稀疏度加持系统级创新技术的大爆发,让长文本、深思考在端侧真正跑起来,宣告了端侧长文本时 代到来。 MiniCPM4.0 -8B 在MMLU、CEval、MATH500、HumanEval等基准测试中,以仅 22% 的训练开销,性能比肩 Qwen-3-8B,超越Gemma-3-12B。 代号「前进四」,小钢炮 Mini ...