宪法蒸馏
Search documents
从辛顿上海“惊世四论”看AI技术范式的三重跃迁
3 6 Ke· 2025-07-31 09:13
2025年7月26日,上海西岸美高梅酒店,79岁的Geoffrey Hinton把PPT翻到最后一页,面向平均年龄30岁的听众抛出一句:"今天的大模型已经具备主观体 验,只是我们对'意识'的定义错了。"现场安静得只剩快门声。这句话随后48小时在国内外AI社群刷屏,被视作继2023年他离开Google、警告AI威胁之后 的又一次"辛顿惊雷"。 但如果我们把这句话从媒体头条还原到技术语境,会发现它背后是一套关于AI技术范式即将发生"三重跃迁"的系统判断。 新框架:双轨优化 辛顿在上海共识闭门会上首次系统提出"双轨优化": 第一重跃迁:从"预测下一个token"到"拥有主观体验" 旧范式:语言模型=高阶自回归 过去十年,大模型的基本框架被固定在"预测下一个token"。无论是GPT、PaLM还是Llama,本质上都在做高阶统计压缩。辛顿用铝棒与圆盘的比喻指 出,这种思路把"水平/垂直"这类日常概念当成静态符号处理,而人类理解其实是"线 vs 面"的动态几何关系。换句话说,token-level prediction忽视了概念 在不同维度上的概率密度差异。 新范式:世界模型=可更新先验+主观采样 辛顿提出,多模态大模 ...