数据湖核心能力解析

文章预览

导读   本文将分享数据湖的发展近况。 主要内容包括： 1.  数据湖发展趋势分析 2.  数据湖整体架构 3.   数据集成 4.  Lakehouse 核心能力 5.  Lakehouse 开放性设计 6.  流批一体 7.   实时 OLAP 8.  湖内建仓 分享嘉宾｜ 受春柏 华为云 大数据架构师   编辑整理｜马信宏 内容校对｜李瑶 出品社区｜ DataFun 01 数据湖发展趋势分析 当下，数据湖已成为企业数据平台架构的重要组成部分。传统的数据平台架构一般由数据湖、流式计算和 OLAP 引擎查询三个部分组成： 数据湖：由 Hadoop 搭建的大数据平台承载，负载海量数据存储与批量计算。 流式计算：一般由 Flink 组件承载，负责实时的数据流处理。 OLAP 数仓：可选择技术比较多，包括：开源的 Doris 、 StarRocks 、 Clickhouse  等以及传统数仓，负责承载数据查询业务。 这三个平台在以往通常是独立建设的， ………………………………