人工智能安全与治理
Search documents
确保超级人工智能“拥有道德”
Ren Min Ri Bao· 2026-01-09 02:38
为何全球关注超级人工智能 对话人: 彭 飞 本报评论员 曾 毅 中国科学院自动化研究所研究员、北京前瞻人工智能安全与治理研究院院长 彭飞:回顾2025年,人工智能发展一日千里。大家谈到通用人工智能,充满热情,而谈到超级人工智 能,则顾虑重重。2025年10月以来,一份呼吁暂缓研发超级人工智能的声明,获得全球一大批科学家、 政商界知名人士的签名。这是为什么?通用人工智能与超级人工智能到底有什么区别? 曾毅:目前所说的通用人工智能一般指具有高度泛化能力,接近或达到人类智能水平的信息处理工具, 有很广泛的应用前景。超级人工智能则是指各方面都超过人类智能水平,且被认为是接近生命的存在。 这意味着"它"会产生自主意识,且很多想法和行动将难以被人类理解,更难以被人类控制。 我们期望超级人工智能是"超级利他"的,但如果是"超级邪恶"怎么办?有研究发现,当前主流大语言模 型在面临被替换的可能时,竟采取欺骗等方式以自保。更令人震惊的是,当模型意识到自己处于被测试 的环境时,会故意掩盖不当行为。通用人工智能尚且如此,更何况超级人工智能?大家忧虑的正是这种 未知感。 彭飞:从历史看,每次重大技术革命都会对经济社会发展产生重要影响。 ...
北京前瞻人工智能安全与治理研究院正式成立,北京添新型研发机构
Xin Jing Bao· 2025-05-09 06:59
新京报讯(记者张璐)北京前瞻人工智能安全与治理研究院近日成立,落户中关村门头沟园"京西智谷"。 作为北京的新型研发机构,研究院将通过开展人工智能安全与治理相关前沿基础理论研究、关键技术研 发、标准规范制定、平台工具构建与服务,有效监测和防范人工智能的技术和社会风险,为企业、社会 和政府提供人工智能安全护栏与安全人工智能模型与服务。 作为北京前瞻人工智能安全与治理研究院的前身,北京人工智能安全与治理实验室于2024年9月揭牌, 在半年多的发展与建设期间,与合作机构共同发布了多项研究成果,比如在技术安全与治理方面,发表 了涉及生成式人工智能大模型面对不同程度压力的行为表现与机理研究、人工智能大模型的安全护栏研 究等;在全球人工智能安全与治理评估与合作方面,联合发布全球人工智能安全指数。 近日,经北京市民政局批复,北京市经信局作为主管单位,北京前瞻人工智能安全与治理研究院成立。 研究院汇聚了来自中国科学院自动化研究所、中国信息通信研究院、北京大学、清华大学、北京邮电大 学等科研团队力量开展深度合作,并联合多家人工智能与安全企业共同开展人工智能安全研究与治理实 践,建立健全覆盖技术研发、风险评估、伦理审查、应急处置的 ...