DeepSeek开源周最后一天：让数据处理「从自行车升级到高铁」

文章预览

机器之心报道 机器之心编辑部 DeepSeek 的开源周终于迎来了最后一天（前四天报道见文末「相关阅读」）。 今天他们开源了一个名为 3FS（Fire-Flyer File System）的系统。这是一种并行文件系统，它利用现代固态硬盘（SSD）和远程直接内存访问（RDMA）网络的全部带宽，能够加速和推动 DeepSeek 平台上所有数据访问操作。 它有以下优势： 在 180 节点集群中实现了 6.6 TiB/s 的聚合读取吞吐量； 在 25 节点集群的 GraySort 基准测试中达到 3.66 TiB/min 的吞吐量； 每个客户端节点在 KVCache 查找时可达到 40+ GiB/s 的峰值吞吐量； 采用分离式架构，具有强一致性语义。 在应用场景方面，它支持训练数据预处理、数据集加载、检查点保存 / 重新加载、用于推理的嵌入向量搜索和 KVCache 查找。DeepSeek V3、R1 模型均采用了这个系统。 开源链接：https://github.com/deepseek-ai/3FS Smallpool ………………………………