专栏名称: macrozheng
专注Java技术分享,解析优质开源项目。涵盖SpringBoot、SpringCloud、Docker、K8S等实用技术,作者Github开源项目mall(50K+Star)。
今天看啥  ›  专栏  ›  macrozheng

阿里又开源一款数据同步工具,稳定又高效,好用到爆!

macrozheng  · 公众号  ·  · 2024-09-27 14:10
    

文章预览

微服务项目学习: cloud.macrozheng.com 作者:愿许浪尽天涯 来源:blog.csdn.net/weixin_46902396/article/details/121904705 前言 有个项目的数据量高达五千万,但是因为报表那块数据不太准确,业务库和报表库又是跨库操作,所以并不能使用 SQL 来进行同步。当时的打算是通过 mysqldump 或者存储的方式来进行同步,但是尝试后发现这些方案都不切实际: mysqldump :不仅备份需要时间,同步也需要时间,而且在备份的过程,可能还会有数据产出(也就是说同步等于没同步) 存储方式:这个效率太慢了,要是数据量少还好,我们使用这个方式的时候,三个小时才同步两千条数据… 常见数据异构的几款中间件的区别如下: 今天介绍一款不错的中间件: DataX DataX 简介 DataX 是阿里云 DataWorks 数据集成 的开源版本, 主要就是用于实现数据间的离线同步。 DataX 致力于实现包 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览