3. 从"规模经济"到"效率经济" 当 Token 消耗增长 10 倍、100 倍时，推理服务成本不再是次要考量，如何能够必须实现"超卖"与"混 部"。考虑到实际上 Agent 需要使用 LLM 和多模态的不同模型，应对 Agent 的不同模型需求流量模 式呈现更强的潮汐效应，推理服务基础设施需要像"数字电网"一样动态调度算力。 AI Agent 对推理基础设施的 作者 | 章明星，清华大学副教授，Mooncake 社区联合发起人、 车漾，阿里云容器服务高级技术专家，Fluid 社区联合发起人 Token 消耗量的结构性转移正在重塑大模型推理服务基础设施的底层逻辑。一个不容忽视的事实是： AI Agent 正从人类手中接过 Token 消耗的指挥棒，背后是大模型从 Chatbot 转化为新质生产力 。 这不是量的变化，而是质的跃迁——推理基础设施的使用者正从"偶尔提问的人类用户"变为"7×24 小 时不间断工作的 Agent"，其单次任务需要几十次工具调用、输入输出比达到 10:1 甚至 100:1、面向 图像和全模态的输入导致上下文窗口常态性突破 100K，其请求模式、负载特征与成本考量正在发生 根本性的变 ...