来源：科技日报 英国爱丁堡大学与英伟达的联合团队开发出一种新方法，能够压缩人工智能（AI）模型运行时所依赖的内存，从而在保持响应速度不变的情况下，提升模 型处理复杂任务的准确性，或显著降低其能耗。这也意味着，更小的内存将带来"更强的AI"，有望打破大语言模型（LLM）性能瓶颈。 团队发现，将LLM所使用的内存压缩至原有大小的1/8后，模型在数学、科学和编程等专业测试中的表现反而更好，且推理时间并未延长。这一方法亦有助 于模型同时响应更多用户请求，从而降低单个任务的平均功耗。除了节能优势，这项改进还有望使AI更适用于处理复杂问题的系统，或存储速度较慢、内 存容量有限的终端设备，例如智能家居产品和可穿戴技术。 AI模型通常通过"思考"更复杂的假设，或同时探索更多可能性来寻找答案。在此过程中，模型需要将已生成的推理线程内容暂存于一种称为"KV缓存"的内 存中。随着线程数量增多或线程长度增加，KV缓存的体积会迅速扩大，成为性能瓶颈，拖慢模型输出响应的速度。 为突破这一限制，团队提出了一种名为"动态记忆稀疏化"（DMS）的内存压缩技术。该方法并非保留所有生成的标记（即AI模型处理的基本数据单元）， 而是动态判断哪些标记 ...