贝壳找房: 为 AI 平台打造混合多云的存储加速底座

文章预览

作者 | 王天庆 贝壳机器学习平台的计算资源，尤其是 GPU，主要依赖公有云服务，并分布在不同的地理区域。 为了让存储可以灵活地跟随计算资源，存储系统需具备高度的灵活性，支持跨区域的数据访问和迁移，同时确保计算任务的连续性和高效性 ；此外，随着数据量的增长，元数据管理的压力也在逐渐加大。 贝壳机器学习平台团队从去年开始对存储系统进行重构，选择了基于 JuiceFS 的存储方案。目前 JuiceFS 作为存储底座服务于整个机器学习平台，不仅提高了对混合多云架构的适应性，还大幅提升了数据处理效率。 该存储平台已支持多个场景，例如， 模型加载时间从超过 10 分钟缩短至 30 秒以内，提升 20 多倍，大幅提高了资源利用效率。此外，贝壳团队基于 JuiceFS 研发了多 AZ 分布式缓存以及镜像功能 。本文将详细介绍贝壳在此重构过程中的演 ………………………………