未知机构:中泰电子大模型专家解读算力仍是长期确定方向1DS解读-20250304
2025-03-04 02:00
2)需求测算:根据DS数据,每个H800节点输 【中泰电子】大模型专家解读,算力仍是长期确定方向 【中泰电子】大模型专家解读,算力仍是长期确定方向 1)DS解读:1)算法层:使用MoE和大规模调度优化,提升单节点吞吐率,稀疏化+量化压缩降低单次计算复 杂度;2)系统层:KVCache复用,缓存命中高达56.3%,交互越多效率越高; # 总结: 技术实现有难度,是理想状态下极限情况,头部大厂有能力复刻接近,多数厂商难以实现,实际落地算力需求 高; 1)DS解读:1)算法层:使用MoE和大规模调度优化,提升单节点吞吐率,稀疏化+量化压缩降低单次计算复 杂度;2)系统层:KVCache复用,缓存命中高达56.3%,交互越多效率越高; # 总结: 技术实现有难度,是理想状态下极限情况,头部大厂有能力复刻接近,多数厂商难以实现,实际落地算力需求 高; 实际使用反馈效率较低,高峰期回答率只有20%,实际人均token量应更大,此外需根据上下文长度判断。 考虑后续to C如导入苹果服务等,DAU大幅增长,算力卡需求会远大于测算;国产卡效率不如N卡,需求更大; 3)政策格局:中美对抗,H20潜在被禁风险越来越高,客户加速国产 ...