Workflow
玻尔兹曼机
icon
Search documents
你聪明,它就聪明——大语言模型的“厄里斯魔镜”假说
3 6 Ke· 2025-09-12 01:54
1983年,特伦斯·谢诺夫斯基(Terrence J. Sejnowski)在约翰·霍普金斯大学任教。这一年,他每周末都要在巴尔的摩和匹兹堡之间开车往返——为 了和当时在卡内基梅隆大学任教的杰弗里·辛顿(Geoffrey Hinton)讨论一项合作研究的进展。 20世纪80年代,神经网络研究碰上了"硬骨头",多层神经网络的学习算法成了这一领域寻求突破的关键瓶颈。传统算法难以解决多层神经网络的训 练问题,使神经网络发展受限——特伦斯和辛顿敏锐地意识到这一问题,决定寻找一种有效的学习算法,能够让多层神经网络像人类大脑一样,从 数据中自动学习规律和模式,实现更强大的智能。 特伦斯和辛顿决定,将物理学中的玻尔兹曼分布和统计物理概念引入神经网络研究。这项合作历时三年,最终在1986年获得了突破成果。某天,特 伦斯接到了辛顿打来的电话,宣布他发现了"大脑的工作原理"——这背后的洞见最终促成了一种用于训练玻尔兹曼机权重的学习算法,打破了神经 网络研究一直以来的僵局,并很快催生了效率更高的反向传播算法。 20世纪80年代后期,玻尔兹曼机、反向传播算法、卷积神经网络雏形等成果,逐渐累起现代神经网络技术的基座,并随后在计算机视觉 ...
21书评︱“深度学习之父”辛顿:信仰之跃
刘嘉/文 编者按:"深度学习之父"杰弗里·辛顿近日首次来到中国,出席2025世界人工智能大会,受到社会广泛关注。辛顿是一位颇具传 奇色彩的科学家,2024年,他因在使用人工神经网络进行机器学习的基础性发现和发明,被授予诺贝尔物理学奖。但他曾多次 变换学习和研究的领域,甚至一度离开学术界,他投身人工神经网络研究时,正值人工智能跌入谷底,他的研究被认为没有出 路,甚至当时多伦多大学校长曾说过:"我们学校一个疯子就够了,绝对不能进第二个搞人工神经网络的人。"但最终,人工智 能因辛顿等人引领性的贡献走出停滞,进入大模型时代。 近日,清华大学基础科学讲席教授、心理与认知科学系主任刘嘉出版了新书《通用人工智能:认知、教育与生存方式的重 构》。在新书的跋里,刘嘉向读者讲述了辛顿的故事。作者为何专门介绍辛顿?这与作者自身的经历和本书的写作目的有关。 刘嘉在1994年读大学时就接触到人工神经网络,但当他1997年慕名拜访人工智能之父马文·明斯基后,却备受打击,明斯基对人 工智能的态度不算积极,刘嘉和他聊人工神经网络,但由于当时的人工智能正在经历第二次寒冬,所以连他也说不清未来走向 何方。因此他鼓励刘嘉留在麻省理工学院脑与认知科 ...