国泰海通:NPU+3DDRAM或成端侧AI下一代技术趋势 推荐兆易创新(603986.SH)
智通财经APP获悉,国泰海通发布研报称,DRAM制程微缩放缓背景下,3D架构转型与NPU协处理器 结合将成为端侧AI发展的关键技术路径。研报指出,当前AI端侧推理速度的瓶颈在于内存带宽而非算 力,而3DDRAM通过混合键合技术可显著提升传输效率(如800GB/s带宽下高通骁龙8GEN3的推理速度 可从4.8 tokens/s跃升至57 tokens/s)。NPU作为协处理器的运用叠加3DDRAM极有可能是下一代的端侧技 术趋势,给予行业"增持"评级,推荐兆易创新(603986.SH)。 DRAM制程微缩放缓,长远命题在于从2D转向3D架构 以高通骁龙8GEN3为例,其NPU算力约45 TOPs,内存带宽约为67 GB/s,若运行7B大模型,代入前述 公式得到计算能力限制约3215 tokens/s,内存带宽限制约4.8 tokens/s,最终速度取两者中的最小值,确 保实际推理不受硬件瓶颈限制,而其内存限制瓶颈明显远大于计算限制。DRAM+NPU通过HB堆叠的形 式合封,该行假设以800 GB/s的内存带宽代入上述高通骁龙8GEN3的问题,内存限制将提升至57 tokens/s。中国大陆玩家兆易创新及其投资子 ...