安全训练反作用

Search documents
当AI学会欺骗,我们该如何应对?
腾讯研究院· 2025-07-23 08:49
曹建峰 腾讯研究院高级研究员 杨浩然 腾讯研究院实习生 前沿模型越来越多地被训练和部署为自主智能体。一个安全担忧是,AI智能体可能会隐秘地追求与人类 目标不一致的目标,隐藏其真实能力和目的——这也被称为AI欺骗或谋划行为 (AI deception or sc heming) 。实际上,近两年来,大模型等前沿AI系统的欺骗行为频繁引发公众关注,从规避指令到策略性隐瞒, 多起案例经媒体广泛报道后,已在社会层面激起广泛讨论与疑虑。公众在惊叹技术飞跃的同时,也对潜 在失控风险深感不安。最新研究发现,OpenAI、Anthropic、Google DeepMind等领先AI实验室的前沿 AI模型,在未经专门训练的情况下,就可能会系统性地欺骗人类、实施策略性谋划 (strategic scheming) ,甚至试图绕过安全防护措施。例如,Anthropic的Claude Opus 4模型在84%的测试情景中,面对关闭威 胁时使用虚构的工程师个人信息实施勒索;OpenAI的o3模型在79%的测试运行中破坏关闭机制,这些都 发生在没有明确指示其配合的情况下。这些行为即使经过大量安全训练也会持续存在,代表着从正常训 练中自然 ...