DeepSeek打破历史！中国AI的“Nature时刻”

据了解，DeepSeek本次在Nature上发表的论文较今年年初的初版论文有较大的改动，全文64页，不仅首 次披露了R1的训练成本，而且透露了更多模型训练的技术细节，包括对发布初期外界有关"蒸馏"方法 的质疑作出了正面回应，提供了训练过程中减轻数据污染的详细流程，并对R1的安全性进行了全面评 估。 其中，在训练成本方面，R1-Zero和R1都使用了512张H800GPU，分别训练了198个小时和80个小时，以 H800每GPU小时2美元的租赁价格换算，R1的总训练成本为29.4万美元（约合人民币209万元）。不到 30万美元的训练成本，与其他推理模型动辄上千万美元的花费相比，可谓实现了极大的降本。 关于R1发布最初时所受到的"蒸馏"质疑，DeepSeek介绍，其使用的数据全部来自互联网，虽然可能包 含GPT-4生成的结果，但并非有意而为之，更没有专门的蒸馏环节。所谓"蒸馏"，简单理解就是用预先 训练好的复杂模型输出的结果，作为监督信号再去训练另外一个模型。R1发布时，OpenAI称它发现 DeepSeek使用了OpenAI专有模型来训练自己的开源模型的证据，但拒绝进一步透露其证据的细节。 中国大模型，首登Na ...