AI智能体安全治理
Search documents
中国电信:2025年AI智能体安全治理白皮书
Sou Hu Cai Jing· 2025-11-27 08:27
当前,AI智能体正从"对话智能"迈向"决策智能",成为具备环境感知、自主规划与任务执行能力的"数字协作伙伴"。然而,其能力跃升也带来了前所未有的 安全挑战。《AI智能体安全治理白皮书》由中国电信联合公安部第三研究所、清华大学、华为、蚂蚁集团等权威机构共同编写,首次系统性提出基于"感知 —决策—记忆—执行"四层架构的安全风险识别与治理框架,直面AI智能体在真实场景中可能被恶意操控、诱导越权甚至引发物理世界危害的核心痛点。 白皮书揭示了AI智能体独有的系统性风险:攻击者可通过网页隐藏指令诱导智能体下载木马,或利用超长消息触发隐私窃取,这些案例表明传统边界防御 已失效。风险贯穿四层——感知层面临多模态输入欺骗与协议滥用;决策层易因幻觉与语义歧义导致连锁错误;记忆层存在持久化投毒与跨会话越权隐患; 执行层则可能因权限失控转化为攻击跳板。尤为关键的是,风险具有层级传导与放大效应,单一漏洞即可引发全局性安全事故。 为应对上述挑战,白皮书提出覆盖全生命周期的动态防御体系,强调"安全、可控、可信"三大治理目标,并给出分层技术对策:如工具调用沙箱隔离、决策 双重验证、记忆内容加密与访问控制、执行行为实时阻断等。更难得的是,报告 ...