面壁智能发布基于稀疏-线性混合架构SALA训练9B模型
Xin Lang Cai Jing·2026-02-12 04:07
2月12日，面壁智能正式发布行业首个大规模训练的稀疏-线性注意力混合架构SALA，以及基于该架构 的文本模型MiniCPM-SALA，模型仅有9B参数。据介绍，MiniCPM-SALA不使用投机采样等加速算 法，在云端推理芯片上，当序列长度为256K词元时推理速度高达Qwen3-8B的3.5倍，并支持在云端芯片 和消费级端侧GPU上进行高达一百万词元上下文长度的推理。 (本文来自第一财经) ...