基于 Apache Paimon 的实时湖仓架构实践

文章预览

导读   本次分享题目为基于 Apache Paimon 的实时湖仓架构探索。分享主要分为三个部分，首先简单介绍小米目前的实时湖仓架构和在建设实时湖仓的过程中所遇到的问题，以及期待的理想实时湖仓；然后简要介绍 Apache Paimon 项目，并通过几个典型的使用案例来说明 Apache Paimon 如何解决我们在建设实时湖仓过程中所遇到的问题；最后是对未来的展望。 主要内容包括以下几个部分： 1.  背景 2.  探索基于 Paimon 构建近实时的数据湖仓 3.   未来展望 分享嘉宾｜ 钟宇江 小米 软件研发工程师   编辑整理｜ 曾凤 内容校对｜李瑶 出品社区｜ DataFun 01 背景 1. 实时湖仓建设现状 小米当前的实时湖仓计算框架以 Flink + Talos + Iceberg 为主。上图是目前典型的数仓架构，数据源通常是终端所采集上报的日志以及在线系统的交易数据，通过数据集成平台输送到 Talos 消 ………………………………