Workflow
持续学习(Continual Learning)
icon
Search documents
Transformer已死?DeepMind正在押注另一条AGI路线
3 6 Ke· 2026-01-09 02:42
借鉴人类联想记忆,嵌套学习让AI在运行中构建抽象结构,超越Transformer的局限。谷歌团队强调:优化器与架构互为上下文,协同进化才 能实现真正持续学习。这篇论文或成经典,开启AI从被动训练到主动进化的大门。 「灾难性遗忘」,一个困扰了AI界几十年的幽灵,这一次或许被彻底解决了。 过去一年,AI突飞猛进,绝非夸张的修辞,仅谷歌DeepMind一年的成就,就让人眼花缭乱: 但如果DeepMind要选2025年最重要的研究或产品,那最近火爆的嵌套学习「Nested Learning」必有一席之地。 有网友读过论文之后,发帖表示,这篇论文就是《Attention is All you Need》的「续集」。 如果Transformer开启了Scaling时代,那么嵌套学习,可能正在开启真正的AGI时代。 DeepMind创始人Shane Legg更直接,AGI一路坦途,最新进展就是嵌套学习。 甚至有网友表示,如果要给未来的外星人留一篇论文,必然是这篇《嵌套学习》。 JT Investing @ @JLTinvesting · Nov 27, 2025 What we are seeing today with ...
大模型“缩放定律”悖论:RL(强化学习)越强,AGI(通用智能)越远?
硬AI· 2025-12-24 08:10
知名科技博主犀利指出,各大实验室通过RL(强化学习),耗资数十亿美元让大模型"排练"Excel、网页操作等技能,恰 恰暴露其距真正AGI仍远。若AI真接近类人智能,就该像人类一样从经验中自主学习,而非依赖"可验证奖励训练"。而真 正突破在于"持续学习"能力,这一过程或需5-10年才能完善。 硬·AI 作者 | 龙 玥 编辑 | 硬 AI 在人工智能迈向通用智能(AGI)的竞赛中,当前最受追捧的强化学习(RL)路径,可能正将我们引向一 条歧路——RL越强,距离真正的AGI或许越远。 12月24日,知名科技博主、Dwarkesh Podcast博客主持人Dwarkesh Patel今日发布了一则引发行业深思 的视频,直击当前大模型发展的痛点。在硅谷普遍对Scaling Law(缩放定律)和RL(强化学习)持极度 乐观态度的背景下,Patel提出了一个反直觉的犀利观点: 对RL(强化学习)的过度依赖和投入,可能非 但不是通往AGI的捷径,反而是其远未到来的明确信号。 Patel的核心论点在于,当前顶尖AI实验室正耗费巨资,通过基于可验证结果的强化学习,为大模型"预 制"大量特定技能,例如操作Excel或浏览网页。然 ...