自如基于StreamPark+Paimon实现数据一键入湖最佳实践

文章预览

↓ 推荐关注 ↓ 导 读    本文主要介绍了自如 MySQL 数据迁移至 Hive 的架构升级演进，原有架构涉及到的 组件众多 ， 链路复杂，遇到很多挑战，在使用 StreamPark + Paimon 这套组合方案后有效地解决了数据集成中遇到的困境和挑战，分享了 Stre am Park + Paimon 在实际应用中具体的实践方案，以及这套新秀组合方案带来的优势和收益。 StreamPark:  https://github.com/apache/streampark Paimon:  https://github.com/apache/ paimon 欢迎关注 、 Star 、 Fork ， 参与贡献 供稿单位 ｜ 北京自如信息科技有限公司 文章作者 |  刘涛 、 梁研生 、 魏林子 文章整理  |  杨林伟 内容校对 ｜ 潘月鹏 1. 数据集成业务背景 自如租房业务的数据集成场景主要来源于各业务线的 MySQL 表同步到 Hive 表的需求。这一需求包含了每天同步的 MySQL 业务表数量超过 4400 个，以及超过 8000 多个的 Hive ETL 加 ………………………………