机器之心报道 编辑：张倩 只用 1.5% 的内存预算，性能就能超越使用完整 KV cache 的模型，这意味着大语言模型的推理成本可 以大幅降低。EvolKV 的这一突破为实际 部署中的内存优化提供了全新思路。 键值缓存（KV cache）已经成为大模型快速运行的核心技术，它就像一个「记忆库」，能够保存之前计算过的结果并重复使用，这样就不用每次都重新计算同样 的内容。 但是，这个记忆库有个问题：输入的文本越长，需要的存储空间就越大，而且模型处理长文本时会变得非常慢。 为了应对这些挑战，现有的 KV cache 压缩方法主要依赖基于规则的启发式方法。当前的方法可以归类为三种范式： 虽然这些方法在降低内存占用方面有效，但它们未能考虑两个关键问题： 仅依赖基于规则的 KV cache 预算分层分配，可能导致任务相关信息无法被最优地保留。 针对这些限制，来自中国科学院大学、中国科学院自动化研究所的 Bohan Yu 和苏黎世联邦理工学院的 Yekun Chai 受到（Chai 等，2022）的启发， 采用进化算法 直接基于任务性能搜索最优的 KV cache 分配 。 图源： https://x.com/rohanp ...

一水 闻乐 发自 凹非寺 量子位 | 公众号 QbitAI 数学能力几乎和AlphaGo的围棋水平一样？！ 这是研究员对AlphaEvolve的最新评价，就在不久之前，谷歌DeepMind联合陶哲轩等一众顶尖科学家打造了 「通用科学人工智能」 AlphaEvolve ，直接打破了矩阵乘法领域56年以来的效率基准。 一位谷歌前员工更是将这一成就类比为传说中的"神之一手"： 太疯狂了！AlphaEvolve的数学能力相当于AlphaGo打败人类的"神之一手"第37步。 具体而言， 4x4矩阵乘法 的 49 次标量乘法效率基准已经持续56年，而AlphaEvolve直接将这个数字改写为 48 。 别看数字只前进了一小步，但背后所代表的 更快的矩阵乘法算法 可谓意义重大。 不仅可以解决复杂数学难题，还能用来改进芯片设计、提高数据中心和AI训练的效率。 在谷歌内部使用中，它将Gemini架构中大型矩阵乘法运算加速了23%，从而将Gemini的训练时间缩短了1%，并且还将FlashAttention提速了 32.5%。 那么接下来的问题是—— AlphaEvolve是如何做到的？背后藏着哪些核心技术原理？ 在AlphaE ...