LPU会带来哪些增量

LPU 会带来哪些增量？20260311 摘要 LPU 采用片内集成大量 SRAM 替代片外 HBM，通过近存计算与编译器 预调度消除延迟瓶颈，核心解决 AI 推理中 Decode 环节的内存密集型瓶 颈。 LPU vs GPU/TPU：LPU 追求极致确定性，更接近特定模型定制 ASIC；GPU 侧重通用性依赖 HBM；TPU 侧重矩阵乘法效率，LPU 在低 时延推理上具代差优势。 推理市场呈现"PD 分离"趋势：Prefill 环节为计算密集型，适用高算力 CPX；Decode 环节为内存密集型，LPU 的 SRAM 架构可显著降低 KVCache 读取时延。 NVIDIA 存储布局多元化：SRAM（收购 Groq/LPU）攻低延迟场景， HBM4 攻高性能训练，GDDR 攻高性价比计算，SSD 探索独立 KV 缓存 机柜。 Groq 产业化提速：2025 年三星代工订单预计从 0.9 万片增至 1.5 万片； 技术增量指向 SRAM 3D 堆叠、背部供电 PCB、高速 Switch 及液冷方 案。 LPU 局限性：SRAM 成本远高于 DRAM，大模型推理需多芯片堆叠推高 初始成本，且软件栈灵活性不足， ...