文章预览
DeepSeek 开源周第五天 2 月 28 日是 DeepSeek “开源周”的第五天。上午 9 点,DeepSeek 在推上宣布了今天的主角: 3FS + SmallPond 。 Fire-Flyer File System :一种并行文件系统,充分利用现代固态硬盘(SSD)和远程直接内存访问(RDMA)网络的带宽。 https://github.com/deepseek-ai/3FS SmallPond :一个基于 DuckDB 和 3FS 构建的轻量级数据处理框架。 https://github.com/deepseek-ai/smallpond 3FS 亮点: ⚡ 在 180 节点集群中, 总读取吞吐量达 6.6 TiB/s ⚡ 在 25 节点集群中, GraySort 基准测试吞吐量达 3.66 TiB/分钟 ⚡ 每个客户端节点的 KVCache 查找峰值吞吐量超过 40 GiB/s 🧬 分离式架构 ,具备强一致性语义 ✅ 支持以下应用场景:训练数据预处理、数据集加载、检查点保存与恢复、嵌入向量搜索、V3/R1 推理中的 KVCache 查找 3FS 是什么东东? Fire-Flyer File System(3FS)是一种高性能分布式文件系
………………………………