DeepSeek首次回应“蒸馏OpenAI”质疑

"没有故意加入OpenAI生成的合成数据。" 9月18日，DeepSeek再次引发轰动。由DeepSeek团队共同完成、梁文锋担任通讯作者的DeepSeek-R1研究论文，登上了国际权威期刊《Nature》的封面。 今年1月，DeepSeek曾在arxiv公布了初版预印本论文，相较而言，此次发布在《Nature》的版本补充了更多模型细节，减少了描述中的拟人化说明。在补充 材料中，DeepSeek提到了R1模型的训练成本仅29.4万美元，以及回应了模型发布之初关于蒸馏OpenAI的质疑。 今年1月，有报道提到，OpenAI研究人员认为，DeepSeek可能使用了OpenAI模型的输出来训练R1，这种方法可以在使用较少资源的情况下加速模型能力提 升。 在论文的补充资料部分，DeepSeek回应了关于DeepSeek-V3-Base训练数据来源的问题。"DeepSeek-V3-Base的训练数据仅来自普通网页和电子书，不包含任 何合成数据。在预训练冷却阶段，我们没有故意加入OpenAI生成的合成数据，此阶段使用的所有数据都是通过网页抓取的。"DeepSeek表示。 不过，DeepSeek也说明，已观察到一些网页包含 ...