确保超级人工智能“拥有道德”

为何全球关注超级人工智能 对话人： 彭 飞 本报评论员 曾 毅 中国科学院自动化研究所研究员、北京前瞻人工智能安全与治理研究院院长 彭飞：回顾2025年，人工智能发展一日千里。大家谈到通用人工智能，充满热情，而谈到超级人工智 能，则顾虑重重。2025年10月以来，一份呼吁暂缓研发超级人工智能的声明，获得全球一大批科学家、 政商界知名人士的签名。这是为什么？通用人工智能与超级人工智能到底有什么区别？ 曾毅：目前所说的通用人工智能一般指具有高度泛化能力，接近或达到人类智能水平的信息处理工具， 有很广泛的应用前景。超级人工智能则是指各方面都超过人类智能水平，且被认为是接近生命的存在。 这意味着"它"会产生自主意识，且很多想法和行动将难以被人类理解，更难以被人类控制。 我们期望超级人工智能是"超级利他"的，但如果是"超级邪恶"怎么办？有研究发现，当前主流大语言模 型在面临被替换的可能时，竟采取欺骗等方式以自保。更令人震惊的是，当模型意识到自己处于被测试 的环境时，会故意掩盖不当行为。通用人工智能尚且如此，更何况超级人工智能？大家忧虑的正是这种 未知感。 彭飞：从历史看，每次重大技术革命都会对经济社会发展产生重要影响。 ...