像大模型一样进化

本文摘选自刘嘉教授新书《通用人工智能》 大模型的成功并非偶然——从早期符号主义AI的失败，到深度学习的崛起，再到Transformer的成功，每 一次进化都是从无数被淘汰的算法、模型中艰难诞生。在这艰难曲折的探索中，人类智慧的金块无疑是 AI头上的一盏明灯。反过来，大模型的进化经验，能否成为我们人类认知进化的营养？由此，我们破茧 成蝶，与AI时代同频共振，开启认知与智慧的跃迁。 为人生定义目标函数 所有的机器学习，在开始训练前，都必须明确一个目标函数 （又 称损失函数或 成本函数） 。这个函数定 义了模型希望达到的理想状态，而训练的全部意义就在于不断优化参数，让模型越来越接近这个目标。 正所谓学习未动，目标先行。 作为机器学习的一个分支，人工神经网络从一开始就是另类，因为它的目标函数太宏大、太有野心，以 至于当辛顿请求其所在的多伦多大学校长再招收一名人工神经网络的研究者时，该校长是如此回答 的："一个疯子就足够了。"的确，人工神经网络的开创者都有一个在外人眼里近似疯狂的目标函数： 1943年麦卡洛克和皮茨提出的"简陋"神经元是要模拟"神经活动内在观念的逻辑演算"，1958年罗森布拉 刘嘉 清华大学基础科学讲席 ...