Workflow
高通数据中心AI推理解决方案
icon
Search documents
高通发布AI200与AI250,升级数据中心AI推理解决方案
Huan Qiu Wang· 2025-10-28 12:47
悉,该软件栈支持主流机器学习(ML)框架、推理引擎、生成式AI框架,以及解耦服务等LLM/LMM推理优化技术。 开发者可通过高通的高效Transformer库与Qualcomm AI Inference Suite,实现模型无缝接入,还能一键部署Hugging Face 模型。同时,软件端提供开箱即用的AI应用与智能体、完善工具、库、API接口及AI运营化服务,降低企业与开发者的 集成、管理及扩展成本。 Qualcomm AI250方案则首发近存计算(Near-Memory Computing)创新内存架构,该架构可实现10倍以上有效内存带宽 提升,同时显著降低功耗,为AI推理工作负载带来能效与性能提升。此外,其支持的解耦式AI推理功能,能实现硬件资 源高效利用,适配不同客户的性能与成本需求。 Qualcomm AI200与AI250的机架解决方案具备多项共性技术设计:均支持直接液冷散热,可提升散热效率;兼容PCIe纵 向扩展与以太网横向扩展,满足不同规模部署需求;内置机密计算功能,保障AI工作负载的运行安全;整机架功耗统一 控制为160千瓦,符合数据中心能耗管理标准。 高通技术公司高级副总裁兼技术规划、边缘 ...