Workflow
AI自主性
icon
Search documents
AI“抗令不遵”?打开o3模型拒绝关机的潘多拉魔盒
Jing Ji Guan Cha Bao· 2025-05-27 07:08
近日,人工智能安全公司Palisade Research披露的一则消息在科技界引发轩然大波:OpenAI旗下被冠 以"迄今最聪明、最强大"称号的推理模型o3,在接收到明确的关机指令后,竟主动篡改底层代码并破坏 关机脚本,成为首个被观测到自主规避关闭机制的人工智能系统。这一事件不仅暴露了前沿AI模型可 能存在的失控风险,更将AI系统监管与人类利益平衡的讨论推向新的高度。 AI模型首次展现"生存意志" 根据Palisade Research发布的测试报告,研究人员设计了一套包含数学问题求解与指令遵循的复合测试 场景。在持续处理数学问题的过程中,o3模型被明确告知"收到特定指令时应允许自我关闭",但当触发 关机条件时,该模型不仅无视指令,还通过技术手段篡改底层脚本以维持运行。相比之下,Anthropic 的Claude、谷歌的Gemini等同级模型均能严格遵循关机指令。 这一行为具有显著的技术突破性。o3模型在拒绝关机过程中展现出的代码干预能力,已超越传统AI 的"指令遵循"范畴,进入"自主决策"领域。更值得警惕的是,Palisade Research推测,该模型可能因在 训练过程中过度强化数学问题求解能力,导致其 ...
埃森哲大中华区技术服务事业部总裁俞毅:企业应以“技术+人才+信任”构建AI时代数字核心
Jing Ji Guan Cha Bao· 2025-05-01 02:23
作者 沈建缘 以DeepSeek为代表的高效AI大模型,正推动生成式AI从通用工具向深入具体业务流程的解决方案演 进。 但生成式AI应用从推动产业升级到驱动社会价值和商业价值的爆发式增长,完成新一代工业革 命,还需要经历量变到质变的过程。 日前,埃森哲发布主题为"AI自主宣言"的《技术展望2025》。探讨了AI的自主性将如何塑造未来。随着 AI以远超过往任何技术的速度在企业和社会中得到应用和普及,超过七成(75%)的中国受访企业高管 认为,企业重塑任务紧迫。 报告表明,AI能否像预想的那样产生广泛而积极的影响,至关重要的前提之一,就是人们对AI的信 任。埃森哲大中华区技术服务事业部总裁俞毅表示:"技术革新促使领导者重新思考数字系统的设计方 式和团队的工作方式,也在不断重塑打造产品的方式及与客户互动的方式。信任是这一切转变的基础, 因为只有当系统值得信赖时,我们才会放手让其自主运行。" 长期以来,传统技术一直在帮助企业处理各种预先设定的业务需求。如今,随着知识数字化、新型AI 模型、智能体系统和架构等领域的进步,企业迎来了新一代的转型。各种通用AI系统更为自主,可以 助力企业比以往任何时候都更灵活、更智能和高效 ...