5分钟读懂Lilian Weng万字长文：大模型是怎么思考的？

最近有三篇很火的bolg，第一篇是OpenAI researcher 姚顺雨的"欢迎来到下半场"，第二篇是David Silver 和Richard S. Sutton的"Welcome to the Era of Experience"，这是第三篇，Lilian Weng的Why We Think。 Lilian Weng的最新blog，还找了John Schulman润色。 道理其实很朴素，里边的内容大家都聊过，我们绝大部分也单独写过，但是这篇blog系统性地梳理了AI 最新范式：test-time compute。 LLM大模型是怎么思考的？ ①从心理学角度：理论来源于丹尼尔·卡尼曼的《思考，快与慢》。 与人类思考方式有相似之处。 人脑有"系统1"（直觉、快速）和"系统2"（分析、缓慢）。 在推理模型出现之前，大模型的答案"脱口而出"，这就是系统1。给AI多点时间思考，就像是激活了它 们的"系统2"。 ②从计算资源角度： ③从数学角度： 可以把整个"问题 (x) - 思考过程 (z) - 答案 (y)"看作一个概率模型。 思考过程z就是那个隐变量（hidden variable）。把各种可能的思考路径都 ...