腾讯邱跃鹏：推理需求爆发，云基础设施也要同步升级

作者 | 黄昱 2025年AI应用爆发，同时迎来Agent元年等背景下，推理需求暴涨。为了抓住这一机遇，云服务厂商也积极升级云基础设施，来满足市场需求。 9月16日，在2025腾讯全球数字生态大会上，腾讯集团副总裁、腾讯云总裁邱跃鹏表示，大模型产业重心从训练到推理的转变，已经成为行业共识。同时客 户对于使用大模型和建设Agent迸发出强烈热情，这都带来了推理需求的暴涨。 这也意味着，AI基础设施要同步升级。 近年来，腾讯云正不断升级云基础设施，以支撑Agent规模化落地和企业全球化发展。据邱跃鹏介绍，腾讯云已在推理加速、Agent Infra和国际化布局等方 面取得突破，并将以更加开放的姿态，助力企业把握时代机遇。 在推理加速方面，腾讯云深入参与开源贡献，向DeepSeek、vLLM、SGLang等社区提交了多项优化技术。同时，针对大模型推理面临的内存瓶颈，腾讯云自 研并开源FlexKV 多级缓存技术，大幅降低KVCache的占用，将首字时延降低多达70%。 同时，邱跃鹏透露，腾讯云依托异构计算平台整合多种芯片资源，向外界提供高性价比的 AI 算力。目前，该平台已全面适配主流国产芯片。 据悉，软硬件协同全栈优 ...