Workflow
FP8精度
icon
Search documents
V3.1适配了国产FP8 精度芯片
小熊跑的快· 2025-08-22 01:12
昨晚它适配了马上要出来的FP8 国产芯片。降本优势惠及国产卡了。 相信以后软硬件一起进步了,nv的b卡下放精度到FP4,国内下一代好几家支持原生FP8了。 国内大模型基于FP8 精度,做各种工程优化降本,支持国产适配。 这是最重要的事吧? deepseek r1成功就来源于 使用 FP8 数据格式的细粒度混合精度框架, 大部分计算密集型操作在 FP8 精度下进行,少数关键操作保持在原始的数据格式中。 之前它的库都是基于cuda优化的,nv卡占据优势。国内卡当时都只适配FP16,在用R1的时候,必须先 升到fp16,效率损失37%。 低成本联手走向全球! ...