整理 | 华卫 即使你对生成式 AI 模型的内部运作了解不多，也大概率知道它们极其吃内存。正因如此，如今想买一根普通内存条都免不了被狠狠加价。 最近，谷歌研究院发布了 TurboQuant 压缩算法，能够在提升运行速度并保持准确性不变的前提下，降低大语言模型（LLM）的内存占用。如果 TurboQuant 成功落地，可将 AI 运行时的 "工作内存"，也就是键值缓存（KV cache）压缩至少 6 倍，并在 H100 显卡上实现最高 8 倍的速度提升，从 而大幅降低 AI 运行成本。 Cloudflare 的 CEO Matthew Prince 等人甚至称，这是谷歌的 "DeepSeek 时刻"。此前，中国 AI 模型 DeepSeek 实现这样的效率飞跃：该模型在性能 保持竞争力的情况下，训练成本仅为对手的零头，且使用的芯片性能较差。 而 TurboQuant 最关键的亮点是：精度零损失。无需微调，无需训练数据。直接接入任意 Transformer 模型，即可让键值缓存压缩至原体积的一小部 分，同时输出结果完全一致。如果这一效果能在实际生产环境中成立，将一夜之间改变长上下文推理的成本格局。 此外，Turb ...