策略学习助力LLM推理效率：MIT与谷歌团队提出异步并行生成新范式

金天， 麻省理工学院（MIT）计算机科学与人工智能实验室（CSAIL）博士五年级学生，师从 Michael Carbin 和 Jonathan Ragan-Kelley。他主要研究 机器学习与编程系统的结合。此前曾在 IBM Research 主导实现深度神经网络在 IBM 主机上的推理部署。本科毕业于 Haverford College，获计算机科学 与数学双学位。 鄭鈺熹， 麻省理工学院 CSAIL 博士三年级学生，师从 Michael Carbin。她的研究方向为编程语言与机器学习的交叉领域。 大语言模型（LLM）的生成范式正在从传统的「单人书写」向「分身协作」转变。传统自回归解码按顺序生成内容，而新兴的异步生成范式通过识别语义独 立的内容块，实现并行生成。 如图所示，传统方法（下）按顺序生成所有内容，而异步生成（上）同时处理多个互不依赖的内容块。对比顺序生成，异步生成在 AlpacaEval 长度控制评 测中实现 1.21-1.93× 的几何平均提速 ，对应生成质量变化（胜率）为 +2.2% 至 -7.1%。 MIT 与谷歌研究团队在最新研究 PASTA（PArallel STructure Anno ...