ACL 2025 | 基于Token预算感知的大模型高效推理技术

本位作者分别来自南京大学，罗格斯大学和马萨诸塞大学阿默斯特分校。第一作者韩廷旭与共同第一作者王震霆是分别来自南京大学和罗格斯大学的博士生，研 究方向聚焦于大模型推理以及安全负责任的生成式人工智能。通讯作者为南京大学房春荣教授。 随着大型语言模型（LLM）技术的不断发展， Chain-of-Thought（CoT） 等推理增强方法被提出，以期提升模型在数学题解、逻辑问答等复杂任务中的 表现，并通过引导模型逐步思考，有效提高了模型准确率。 然而，这类方法也带来了新的挑战：模型生成的中间推理过程往往冗长，产生了大量冗余 Token ，这显著增加了推理阶段的计算成本和资源消耗。在 LLM 日益走向实际部署的背景下，如何在保证推理能力的同时控制成本，已成为制约其大规模应用的核心问题。 为解决这一矛盾，近日来自南京大学、罗格斯大学和马萨诸塞大学阿默斯特分校的研究团队提出了一种基于 Token 预算感知 的 LLM 推理新框架 TALE ， 旨在保证推理准确率的同时，显著压缩输出长度、降低计算开销。 TALE 的核心理念是在推理过程中引入「Token 预算」这一约束机制，引导模型在限定的 Token 预算范围内完成有效推理 ...