从英伟达Rubin CPX和Oracle看算力趋势

Q&A 英伟达推出的 RoboMaster 4PX 和 Oracle 在 AI 推理方面的进展有哪些重 要意义？ 英伟达 RoboMaster 4PX 支持 FP4 数据格式，显著降低算力消耗和成 本，提升推理效率，而国产算力卡尚未达到这一水平，面临技术突破挑 战。 英伟达首次在硬件层面支持推理过程中的 Prefill 与 Decode 阶段分离， 结合 GDDR7 内存优化，大幅提高推理效率，并推出 Dynamo 推理架 构，通过融合计算和自动调整计算图优化模型推理。 英伟达 Robin CPS GPU 系统与 Dynamo 框架协同，通过 PD 分离推理 和智能请求路由，实现精准资源调度，优化长上下文应用场景，如 AI 编 程和 AI 视频。 Oracle 强调其 AI 推理优势在于构建万卡、十万卡算力集群，并配备软 件优化框架和向量数据库能力，展现全人类 AI 产业从训练进入推理的趋 势。 AI 推理时代依赖大模型引擎调用向量化数据库信息进行推理，Oracle 在集群能力、软件框架和私有云数据库方面具备显著优势，构建了复杂 且高技术门槛的体系。 从英伟达 Rubin CPX 和 Oracle 看算力趋势 ...