今天看啥  ›  专栏  ›  InfoQ

优步借助 MyRocks 差异备份显著节省了存储成本

InfoQ  · 公众号  · 科技媒体  · 2024-11-18 12:47

主要观点总结

优步成功实施了新的差异备份系统,为分布式数据库带来显著的成本和效率提升。面对迁移到MyRocks存储引擎后的存储成本上升和备份时间过长问题,优步团队开发了此系统。该系统利用MyRocks SSTable文件的不可变特性,实施差异备份,降低存储成本并提高备份速度。新系统由无状态服务Backup Scheduler管理,使用Percona XtraBackup工具进行备份和恢复。优步报告称,新系统使数据存储平均减少45%,某些实例的存储成本降低70%以上,且备份速度显著提高。

关键观点总结

关键观点1: 优步面临存储成本上升和备份完成时间过长的问题

在将分布式数据库迁移到MyRocks后,优步遇到了存储成本上升和备份时间过长的问题,这是因为MyRocks虽然对写入操作和存储效率进行了优化,但缺乏增量备份的支持。

关键观点2: 新差异备份系统的原理和优势

新系统利用MyRocks SSTable文件的不可变特性,通过执行初始完全备份后,仅将新的SSTable文件添加到共享池中,从而实施差异备份。这降低了存储成本,同时提高了备份速度。

关键观点3: 新系统的实现细节和关键组件

新系统由一个无状态服务Backup Scheduler管理,使用Percona XtraBackup工具进行实际的备份过程。清单文件以JSON文档的形式实现,用于跟踪备份的基本信息,并为恢复过程提供必要信息。

关键观点4: 新系统的实施效果

优步报告称,新系统的实施使得大多数实例的数据存储平均减少了45%,一些较大实例的存储成本降低了70%以上。此外,备份过程的速度也得到了显著的提高。


文章预览

作者 | Matt Saunders 译者 | 刘雅梦 策划 | 丁晓昀 据其博客的文章介绍,优步(Uber)已经成功地为其分布式数据库实施了一个新的差异备份(Differential Backup)系统,该系统使存储成本降低了 70%。 优步(Uber)工程师开发这一解决方案,是为了应对优步(Uber)将其 Schemaless 和 Docstore 服务的存储迁移到基于 RocksDB 的 MySQL 存储引擎 MyRocks 后出现了存储成本上升和备份完成时间过长的问题。 在优步(Uber),Schemaless 和 Docstore 分布式数据库处理数十 PB 的运营数据,每秒处理数千万个请求。这些数据库对优步(Uber)的全球运营至关重要,用以支持各种业务功能并确保业务的连续性。 当优步(Uber)团队将存储平台迁移到 MyRocks 时出现了问题,尽管 MyRocks 针对写入操作和存储效率进行了优化,但缺乏对增量备份(Incremental Backup)的支持。这种限制意味着 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览