StarRocks 数据湖查询和迁移实践

文章预览

导读   本次将从实战的角度分享 StarRocks 数据湖查询和迁移的能力与解决方案。 主要内容包括以下四部分： 1.  StarRocks 和 Paimon 湖能力的介绍 2.  迁移 StarRocks 方案介绍 3.   StarRocks + Paimon 未来规划 4.  问答环节 分享嘉宾｜ 王日宇 阿里云  高级研发工程师   编辑整理｜谢倩倩 内容校对｜李瑶 出品社区｜ DataFun 01 StarRocks 和 Paimon 湖能力的介绍 1. 为什么需要数据湖架构 为什么需要数据湖？与其它技术一样，数据湖本身也是由需求而生的。早期都是离线数仓，为了应对现在数据分析中越来越多的实时性场景，以及对 ACID、事物性隔离越来越高的要求，数据湖技术应运而生。传统的数据湖三剑客为 Iceberg、Hudi 和 Delta lake，从去年开始，开源的 Apache Paimon 这个正在蓬勃发展的数据湖格式，已成为一颗冉冉升起的新星。 数据湖架构的主要优点有三大方面 ………………………………