国泰海通｜电子：AI手机的离线推理速度取决于内存带宽瓶颈的突破

报告导读： 当前推理速度主要瓶颈在于内存带宽而非算力，NPU+DRAM堆叠后内存带 宽呈现数量级提升，这一技术方案产业趋势明确。 更多国泰海通研究和服务 亦可联系对口销售获取 重要提醒 本订阅号所载内容仅面向国泰海通证券研究服务签约客户。因本资料暂时无法设置访问限制，根据《证 券期货投资者适当性管理办法》的要求，若您并非国泰海通证券研究服务签约客户，为保证服务质量、 控制投资风险，还请取消关注，请勿订阅、接收或使用本订阅号中的任何信息。我们对由此给您造成的 不便表示诚挚歉意，非常感谢您的理解与配合！如有任何疑问，敬请按照文末联系方式与我们联系。 法律声明 行业观点及投资建议。 当前推理速度主要瓶颈在于内存带宽而非算力，NPU+DRAM堆叠后内存带宽呈现 数量级提升，这一技术方案产业趋势明确。给予行业"增持"评级。 当前主要瓶颈在内存带宽，而非算力。 以高通骁龙8GEN3为例，其NPU算力约45 TOPs，内存带宽约为67 GB/s，若运行7B大模型，代入前述公式得到计算能力限制约3215 tokens/s，内存带宽限制约4.8 tokens/s， 最终速度取两者中的最小值，确保实际推理不受硬件瓶颈限制，而其内 ...