为何全球关注超级人工智能（连线评论员）

对话人： 曾毅：目前所说的通用人工智能一般指具有高度泛化能力，接近或达到人类智能水平的信息处理工具， 有很广泛的应用前景。超级人工智能则是指各方面都超过人类智能水平，且被认为是接近生命的存在。 这意味着"它"会产生自主意识，且很多想法和行动将难以被人类理解，更难以被人类控制。 我们期望超级人工智能是"超级利他"的，但如果是"超级邪恶"怎么办？有研究发现，当前主流大语言模 型在面临被替换的可能时，竟采取欺骗等方式以自保。更令人震惊的是，当模型意识到自己处于被测试 的环境时，会故意掩盖不当行为。通用人工智能尚且如此，更何况超级人工智能？大家忧虑的正是这种 未知感。 彭飞：从历史看，每次重大技术革命都会对经济社会发展产生重要影响。而且，随着技术完善、治理跟 进，人类发展最终都能趋利避害。超级人工智能为何不会遵循这样的规律？ 曾毅：不能简单把超级人工智能类比为历史上任何一种技术工具。"它"可能拥有独立认知并超越人类智 能，这一挑战是前所未有的。"它"带来的风险和颠覆性改变也绝不限于就业、隐私保护、教育等局部领 域，而是系统性的。最核心风险在于对齐失败和失控。如果超级人工智能的目标与人类价值观不一致， 即使微小偏差也可 ...