代理 AI

Search documents
AI 基础设施缺失的一层:聚合代理流量
AI前线· 2025-09-01 06:56
有什么问题呢?大多数基础设施并非为此而建。传统的 API 网关管理入站流量,但代理调用经常完全绕过它们,表现为正常的出站 HTTP 请求。这 就留下了关键的盲点。 作者 | Eyal Solomon 译者 | 平川 在将人工智能(AI)融入应用程序的热潮中,一种新型的流量正在悄然爆发:自主 AI 代理自行调用 API 和服务。大型语言模型(LLM)"代理"可以 规划任务、链接工具使用、获取数据,甚至启动子任务——所有这些都通过传统基础设施未做监控的出站请求来实现。这种由代理驱动的出站流量 (我们称之为代理流量)是当今 AI 基础设施中缺失的一层。我们用 API 网关来处理入站 API 调用,用服务网格来处理微服务之间的通信,但是用 什么来管理 AI 代理自主发起的出站调用呢? 构建 AI 原生平台的软件架构师和工程领导者已经开始注意到了熟悉的告警信号:AI API 账单上的成本突然飙升,拥有过宽权限的机器人访问了敏 感数据,以及对这些 AI 代理所做的事缺少可见性或控制力。这种情况让人想起微服务早期的场景——在我们使用网关和网格来恢复秩序之前——只 是现在的"微服务"是半自主的 AI 例程。Gartner 已 ...