StarRocks 在 Shopee 数据产品的实践

文章预览

背景介绍 StarRocks 是一款 SQL 查询引擎，能够在数据湖仓上提供数据仓库级别的性能。 StarRocks  是一款出色的分析引擎，具有强大的功能，例如向量化执行引擎、基于成本的优化器、数据缓存和具有透明查询重写能力的物化视图。 除了其自管理的专有表格式外，它还支持直接查询大多数流行的数据湖表格式，如 Hive、Iceberg、Delta Lake 和 Hudi。 借助其内置的目录功能，只需一个创建外部目录的 SQL 语句，即可立即部署 StarRocks 并查询数据湖表。 在 Shopee，我们在多个平台上采用了 StarRocks ，利用其能力来满足各种分析需求。让我们深入探讨一下 StarRocks 如何在三个不同场景中在我们的数据环境中发挥了关键作用。 1. DataService - 构建低成本和高速的外部数据湖 使用 StarRocks 的 MV on External Catalog (Hive) 来提高查询性能 2. Da taGo - 加速表连接和洞察提取 使用 StarR ………………………………