作者熊璟，香港大学一年级博士生，师从黄毅教授和孔令鹏教授。已在 ICLR、ICML、NeurIPS、ACL、EMNLP、TMLR等顶级会议/期刊发表论文，研究方向 为高效大语言模型推理与自动定理证明。担任NAACL、EMNLP、ACL、ICML、ICLR、NeurIPS、COLING等会议审稿人。个人主页： https://menik1126.github.io/ 引言：大模型长文本推理的瓶颈与突破 随着大语言模型（LLMs）能力日益提升，AI 对超长文本的理解和处理需求也变得前所未有地重要。然而，目前主流 LLM 虽然依赖旋转位置编码（RoPE）等机 制，在训练阶段能高效处理 4K-8K tokens 级别的上下文，但一旦推理阶段外推遇到如 128K 以上长度的长文本时，模型往往受到显存瓶颈的限制和注意力下沉 (attention sink) 等问题影响，采用常规的文本截断方案容易出现信息遗失，这极大限制了大模型在实际场景中的应用拓展。 业界目前尝试的处理长文本的高效推理主要的瓶颈有两个, 一个是位置编码的长度外推, 再一个是长度外推中的内存瓶颈。 目前的位置编码包括两类：一是基于频率区分的 NTK 插值方 ...

新浪科技讯 6月10日下午消息，近日，面壁智能第四代"面壁小钢炮" MiniCPM4.0 端侧模型（代号"前进 四"）发布。据悉，第四代小钢炮拥有 8B 、0.5B两种参数规模，实现了同级最佳的模型性能。可让长 文本、深思考在端侧真正跑起来，实现220倍极限加速。 据悉，MiniCPM 4.0 模型采用的InfLLMv2稀疏注意力架构改变了传统 Transformer 模型的相关性计算方 式，有效摆脱了逐字重复计算的低效，将稀疏度从行业普遍的40%-50%，降至极致的5%，注意力层仅 需1/10的计算量即可完成长文本计算。且对算子底层重写，进一步加速提升，并使得对文本相关性精准 性大大提升。 值得一提的是，DeepSeek 使用的长文本处理架构NSA（Native Sparse Attention）也引用并采用了与 InfLLM相同的分块注意力计算思路，但其对于短文本的推理较慢，InfLLMv2则很好地解决了NSA在短 文本推理上的短板。 在缓存消耗上，MiniCPM 4.0-8B在 128K 长文本场景下相较于Qwen3-8B仅需 1/4 的缓存存储空间。在速 度、性能飙升的同时，又做到了模型极致压缩，让端 ...