英伟达的下一个Mellanox-针对Agentic-AI底时延的Groq-LPU

英伟达的下一个 Mellanox 针对 Agentic AI 底时延的 Groq LPU20260228 英伟达或将 Groq 的技术与工程团队吸收，将其 IP 融合进后续产品，而 非以独立产品线形式销售，此策略与 Mellanox 的收购路径一致，旨在 强化其在高性能计算领域的护城河。 Groq LPU 架构主要针对推理侧对极低时延的需求，尤其适用于 batch size=1 的场景，通过片上 SRAM 和确定性时序控制，实现更稳定的低 时延推理表现，与 GPU 在训练和较大 batch size 推理上的优势互补。 LPU 与英伟达 GPU 的整合预计至少需要 18-24 个月，可能在 Finman 那一代产品中实现，更可能采用 chiplet 封装级集成，通过混合键合和 TSV 技术实现 compute die 与 LPU die 之间更低时延的数据交互。 Finman compute die 可能采用台积电 A16 节点，而 LPU die 则可能 选择更成熟的 3nm 或 4nm 节点，以便更容易实现更高的 SRAM 配置 密度和 3D/堆叠式集成，作为第一代方案先行验证落地。 LPU 能力更可能整 ...