StarRocks存算分离在得物的降本增效实践

主要观点总结

得物技术团队将Clickhouse迁移到StarRocks数据库的经历。他们通过迁移，在查询性能、成本收益、数据时效性和稳定性等方面取得了显著的收益。同时，他们与社区保持紧密联系，获得了大量帮助并贡献了大量补丁。

关键观点总结

关键观点1: 迁移背景

得物内部同时使用多种OLAP引擎，从业务使用成本和运维维护的角度，决定向StarRocks迁移。

关键观点2: Clickhouse的困境

虽然单机性能优秀，但Clickhouse在大数据量下存在水平扩展性、元数据管理、数据一致性、join查询性能等问题。

关键观点3: 基于StarRocks的降本增效

StarRocks通过存算分离带来成本下降，高效的离线导入，以及重度使用物化视图提高查询效率。

关键观点4: 具体迁移过程

包括Clickhouse灰度迁移StarRocks、语法兼容、兼容Clickhouse函数、表/物化视图转换工具、优化查询性能、表结构优化、问题SQL优化和运维可观测性增强等步骤。

关键观点5: 成果展示

迁移后，智能运营底层AP引擎费用下降40%，存储费用下降5/6。查询性能大幅提升，P95耗时降低，查询成功率提升。数据时效性和稳定性也有显著提升。

关键观点6: 总结

此次迁移达到了预期目标，收获了业务和迁移经验，与社区保持了紧密联系并获得大量帮助。

文章预览

目录 一、背景 二、Clickhouse在大数据量下的困境     1. 物化视图缺乏透明改写能力     2. 缺乏离线导入功能     3. 扩容困难 三、基于StarRocks降本增效     1. 存算分离带来成本下降     2. 在复杂SQL join能力上大幅领先Clickhouse     3. 高效的离线导入     4. 重度使用物化视图进行提效 四、具体迁移过程     1. Clickhouse灰度迁移StarRocks     2. 语法兼容     3. 优化查询性能     4. 运维和可观测性增强 五、成果展示 六、总结 一 背景 OLAP引擎在得物的客服、风控、供应链、投放、运营、ab实验等大量业务场景发挥重要作用，在报表、日志、实时数仓等应用场景都有广泛的应用。 得物引入和使用OLAP引擎的过程中，每个业务都基于自己的需求选择当时最适合自己的引擎。现在得物内部同时使用阿里云上的Hologres、ADB、Clickhouse与ECS自建的开源Clickhouse与StarRock ………………………………