从 Spark 到 StarRocks：实现58同城湖仓一体架构的高效转型

文章预览

作者：王世发，吴艳兴等，58同城数据架构部 小编导读： 本文介绍了 58同城在其数据探查平台中引入 StarRocks 的实践，旨在提升实时查询性能。 在面对传统 Spark 和 Hive 架构的性能瓶颈时，58 同城选择 StarRocks 作为加速引擎，增强数据湖的分析能力。 在迁移过程中，团队克服了多个兼容性问题，并对系统进行了稳定性和易用性的改进，特别是在Java UDF 支持和 SQL 黑名单功能方面。 项目实施一年多以来，58 同城取得了显著的成果： 日均迁移 SQL 数量约 6.5 万条 ，查询成功率稳定在 98% 以上 。 查询性能较迁移前提升 20 倍以上 ，平均查询时间缩短至 3.3 秒 ，P90 查询时间为 5 秒 。 背景 “数据探查平台”是 58集团统一的 SQL 开发平台，旨在提供一个便捷的环境，让用户能够轻松编写、调试和执行 SQL 查询，并实时查看结果，每天超过10万+SQL 运行，包括 ………………………………