​Flink+Paimon+Hologres，面向未来的一体化实时湖仓平台架构设计

文章预览

摘要： 本次分享整理自阿里云实时数仓 Hologres 负责人姜伟华在2024FFA分论坛——行业解决方案2的分享。内容主要分为以下四个部分： 实时数仓的发展历程 从实时数仓到实时湖仓 总结 01 某客户实时数仓架构的三代发展历程 以一个典型客户案例来回顾实时数仓的发展历程。 （1）第一代实时数仓：Lambda 架构，离线实时分别计算 自大数据出现之始，实时数仓采用的就是 Lambda 架构，实时和离线两条链路完全独立。离线链路中，数据写入 Hive 或 MaxCompute 等类似的离线数仓，进行 T+1 加工；实时链路中，数据则先写入 Kafka，由 Flink 消费加工后，将最终结果（如 DWS 层或 ADS 层）写入 KV 存储（如 MySQL、HBase 或 Redis）对外提供服务。两条链路的连接点在于离线链路会在第二天修正实时结果数据，以确保最终数据的准确性。 但这种架构存在诸多问题。其一，数 ………………………………