一 概述 生成式人工智能已列入 企业 的路线图，但我们不 应 发布任何设计不安全的产品。LLM 改变了威胁模 型：不受信任的自然语言会成为攻击面，输出可以被武器化，代理可以代表我们采取行动。我将模型视 为在沙盒化、受监控且严格授权的环境中运行的不受信任的代码。 主要风险显而易见。即时注入（包括隐藏在文件和网页中的间接攻击）可以覆盖策略并窃取数据。拥有 过多权限的代理可能会滥用工具并执行不可逆的操作。RAG 可能会在提取或检索时中毒。隐私和 IP 可 能会通过训练回溯或日志泄露。不安全的输出处理会将模型文本转换为 XSS 或代码执行。对抗性提示 可能会导致模型 DoS 和成本失控。 企业现实加剧了风险。AI供应链（模型、数据集、插件）尚不成熟，容易出现后门和来源漏洞。可观 察性与合规性存在冲突——我们需要取证，但又不能过度收集个人数据。模型和插件的更新会悄无声息 地改变行为；如果没有版本锁定和重新测试，安全性就会下降。内容来源薄弱，使得欺骗和欺诈更容易 发生。员工的影子AI会造成我们无法控制的未经批准的数据泄露。 我的策略是零信任和纵深防御：限制输入、隔离和代理工具，并净化输出。部署前的几项关键措施包 括：允许 ...