高通发布AI200和AI250 赋能高速生成式AI推理

两款机架解决方案均支持直接液冷散热，以提升散热效率，支持PCIe纵向扩展与以太网横向扩展，并具 备机密计算，保障AI工作负载的安全性，整机架功耗为160千瓦。 近日，高通公司宣布，推出面向数据中心的下一代AI推理优化解决方案：基于Qualcomm AI200与AI250 芯片的加速卡及机架系统。高通称，依托公司在NPU技术领域的优势，这些解决方案提供机架级性能与 卓越的内存容量，能够以出色的每美元每瓦特的高性能赋能高速生成式AI推理，为推动各行业可扩 展、高效率、高灵活性的生成式AI部署树立重要里程碑。 据了解，Qualcomm AI200带来专为机架级AI推理打造的解决方案，旨在为大语言模型（LLM）与多模 态模型（LMM）推理及其他AI工作负载提供低总体拥有成本与优化性能。每张加速卡支持768GB LPDDR内存，实现更高内存容量与更低成本，为AI推理提供卓越的扩展性与灵活性。 Qualcomm AI250解决方案将首发基于近存计算（Near-Memory Computing）的创新内存架构，实现超过 10倍的有效内存带宽提升并显著降低功耗，为AI推理工作负载带来能效与性能的跨越性提升。该架构 支持解耦式 ...