腾讯大数据实时湖仓智能优化实践

文章预览

导读   本次分享题目为 腾讯大数据实时湖仓智能优化实践 。 将围绕下面四点展开： 1.  湖仓架构 2.  智能优化服务 3.   场景化能力 4.  总结和展望 分享嘉宾｜ 陈梁   腾讯 高级工程师 编辑整理｜ 李笑宇 内容校对｜李瑶 出品社区｜ DataFun 01 湖仓架构 腾讯大数据的湖仓架构如下图所示： 这里分为三个部分，分别是数据湖计算、数据湖管理和数据湖存储。 数据湖计算部分，Spark 作为 ETL Batch 任务的主要批处理引擎，Flink 作为准实时计算的流处理引擎，StarRocks 和 Presto 作为即席查询的 OLAP 引擎。数据湖管理层以 Iceberg 为核心，同时开放了一些简单的 API，支持用户通过 SDK 的方式去调用。在 Iceberg 之上构建了一套 Auto Optimize Service 服务，帮助用户在使用 Iceberg 的过程中实现查询性能的提升和存储成本的降低。数据湖底层存储基于 HDFS 和 COS，COS 是腾讯 ………………………………