R-KV团队 投稿 量子位 | 公众号 QbitAI 推理大模型虽好，但一个简单的算数问题能推理整整三页，还都是重复的"废话"，找不到重点…… 链式思考（Chain-of-Thought,CoT）让LLM解题思路清晰可见，却也让推理长度指数级膨胀。 以DeepSeek-R1-Llama-8B为例，一道AIME数学题就能写出 3.2万 个Token：模型权重15.5GB，KV缓存再吃 4.1GB ——显存瞬间见底。 现有KV压缩方法（SnapKV、StreamingLLM、H2O等）主要针对 长输入 设计，可一旦模型在输出端开始"碎碎念"，相似句子之间互相打高 分注意力，反而让"按注意力删低分"策略失灵： 造成关键步骤被误删、重复内容却被保留、准确率断崖式下跌等问题。 而R-KV通过以下步骤，在模型解码时实时压缩KV缓存来处理冗余的键/值（KV）标记，仅保留重要且非冗余的标记： 让"长时间推理"不再是奢侈品。 项目详情可见文末链接。 R-KV三步走：冗余识别+重要性评估+动态淘汰 一种可以把大模型的"碎碎念"转化为可控记忆条目的高效压缩方法，出现了！ R-KV开源登场： 显存↓90%、吞吐×6.6、准确率=10 ...

点击 上方 硬AI 关注我们 如果Scaling Law继续有效， 继续看好AI系统组件供应商（如芯片、网络设备等），谨慎对待那些不得不持续投入巨额资 本支出的科技巨头。如果预训练缩放停滞： 看好科技巨头（因为自由现金流将回升），并关注那些拥有大量用户、能够 从推理成本下降中获益的应用类股票。 硬·AI 作者 |硬 AI 编辑 | 硬 AI 还抱着"越大越好"的AI模型不放？华尔街投行巴克莱最新研报给出了一个颠覆性的预测： AI行业正经历一 场"巨变"（Big Shift），"推理模型"和"Agent"将成为新时代的弄潮儿，而"大力出奇迹"的传统大模型， 可能很快就要过气了！ 这场变革的核心，是AI模型从"死记硬背"到"举一反三"的进化。过去，我们追求更大的模型、更多的参 数、更海量的训练数据，坚信"量变产生质变"。但现在，巴克莱指出，这条路可能已经走到了尽头。 算力无底洞、成本高企、收益却难以匹配……传统大模型的"军备竞赛"让众多科技巨头苦不堪言。更要命 的是，用户真的需要那么"大"的模型吗？在许多场景下，一个更"聪明"、更会推理的小模型，反而能提供 更精准、更高效的服务。 这究竟是怎么回事？对于投资者来说 ...