盘一盘，2017年Transformer之后，LLM领域的重要论文

机器之心报道 机器之心编辑部 这两天 Andrej Karpathy 的最新演讲 在 AI 社区引发了热烈讨论，他提出了「软件 3.0」的概念，自然语言正在成为新的编程接口，而 AI 模型负责执行具 体任务。 Karpathy 深入探讨了这一变革对开发者、用户以及软件设计理念的深远影响。他认为，我们不只是在使用新工具，更是在构建一种全新的计算范式。 回顾 LLM 的发展历程：自 2017 年 Transformer 架构问世以来，我们见证了 GPT 系列的一路高歌猛进，以及多模态能力和端侧应用的全面开花。整个 领域正以前所未有的速度演进。 要深入理解这场变革的本质，我们需要回到技术的源头。那些奠定今天 AI 能力的关键论文，不仅记录着算法的演进轨迹，更揭示了从传统编程到自然语言 交互这一范式转变的内在逻辑。 此前我们通过 50 个核心问题回顾了 LLM 的基础概念 。今天，我们将梳理自 2017 年以来 LLM 领域的重要论文。本文从 X 用户 Pramod Goyal 的论文 盘点中精选了 22 篇进行详细介绍，其余论文将在文末列出供读者参考。 奠基理论 Attention Is All You Need ...