专栏名称: OSC开源社区
OSChina 开源中国 官方微信账号
目录
相关文章推荐
OSC开源社区  ·  Gitee ... ·  2 天前  
今天看啥  ›  专栏  ›  OSC开源社区

自如基于StreamPark+Paimon实现数据一键入湖最佳实践

OSC开源社区  · 公众号  · 程序员  · 2024-10-14 16:00
    

文章预览

↓ 推荐关注 ↓ 导 读    本文主要介绍了自如 MySQL 数据迁移至 Hive 的架构升级演进,原有架构涉及到的 组件众多 , 链路复杂,遇到很多挑战,在使用 StreamPark + Paimon 这套组合方案后有效地解决了数据集成中遇到的困境和挑战,分享了 Stre am Park + Paimon 在实际应用中具体的实践方案,以及这套新秀组合方案带来的优势和收益。 StreamPark:  https://github.com/apache/streampark Paimon:  https://github.com/apache/ paimon 欢迎关注 、 Star 、 Fork , 参与贡献 供稿单位 | 北京自如信息科技有限公司 文章作者 |  刘涛 、 梁研生 、 魏林子 文章整理  |  杨林伟 内容校对 | 潘月鹏 1. 数据集成业务背景 自如租房业务的数据集成场景主要来源于各业务线的 MySQL 表同步到 Hive 表的需求。这一需求包含了每天同步的 MySQL 业务表数量超过 4400 个,以及超过 8000 多个的 Hive ETL 加 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览