32k微调处理百万Token：21倍的推理加速，10倍的峰值显存节省，实现恒定内存消耗

CoMeT团队 投稿 量子位 | 公众号 QbitAI 当大模型试图处理一段包含100万token的超长文档时，会发生什么？答案是： 内存爆炸，计算崩溃 。 无论是分析整个代码库、处理万字研报，还是进行超长多轮对话，LLM的"长文本能力"都是其走向更高阶智能的关键。然而，Transformer架 构的固有瓶颈── 与上下文长度成平方关系的计算复杂度和线性增长的KV Cache ，使其在面对超长序列时力不从心，变成了一个既"算不 动"也"存不下"的"吞金巨兽"。 为了"续命"，现有方案要么选择上下文压缩，但这本质上是有损的，信息丢失不可避免；要么采用循环机制，但这类模型又常常"健忘"，难以 保留贯穿全文的关键信息，也记不清刚刚发生的细节。 △ CoMeT在32k上下文训练后，可在1M token中精准大海捞针，且推理速度和内存占用远优于全注意力模型 鱼与熊掌兼得："协同记忆"架构 CoMeT的巧妙之处在于，它没有试图用单一机制解决所有问题，而是设计了一套双轨并行的协同记忆系统，让模型既能"记得牢"，又能"看得 清"。 1. 全局记忆（Global Memory）：一个带"门禁"的记忆保险箱 为了解决长期遗忘问题 ...