DeepSeek开源的文件系统，是如何提升大模型效率的？

作者：Henry Zhu 机器之心编译 在 AI 领域里，大模型通常具有百亿甚至数千亿参数，训练和推理过程对计算资源、存储系统和数据访问效率提出了极高要求。 2 月 28 日，DeepSeek 开源了一种高性能分布式文件系统 3FS ，官方表示其目的是解决人工智能训练和推理工作负载的挑战。 作为一种并行文件系统，3FS 可以在 180 节点集群中实现 6.6 TiB/s 的聚合读取吞吐量，对于提高 DeepSeek V3、R1 大模型的训练数据预处理、数据集加载、检查 点保存/重新加载、嵌入向量搜索和 KVCache 查找等工作的效率有重要帮助。 选自 maknee.github.io 人们认为，DeepSeek 通过开源 3FS 与 smallpond 等工具，在 AI 基础设施领域树立了新的设计范式。其价值不仅在展现技术实力，更是在驱动核心基础设施创新。 DeepSeek 提出的文件系统是如何运作的，又能如何提高模型效率？最近，来自伊利诺伊大学厄巴纳-香槟分校的在读博士生 Henry Zhu 对 3FS 进行了解读。 以下是博客原文： 什么是 3FS？ 3FS（Fire-Flyer File System ...