基于改进字典的大数据多维分析加速实践

文章预览

一、背景 OLAP场景是大数据应用中非常重要的一环，能够快速、灵活地满足业务各种分析需求，提供复杂的分析操作和决策支持。B站主流湖仓使用Iceberg存储，通过建表优化可以实现常规千万级的指标统计秒级查询，这样就能快速搭建可视化报表，但当数据量达到亿级、需要交叉分析维度复杂多表情况下，想要支持秒级就变得困难。因此B站数据分析或者数据开发同学为了能有秒级响应的报表，需要通过ETL grouping sets 提前设计要参与多维分析的维度和指标，然后在ADS层离线计算好对应的数据cube。这有点类似Kylin的预计算模式，区别是查询效率和查询SQL复杂度要更高，毕竟Kylin底层是KV存储并且做了SQL解释器，而原始grouping sets模式得让下游自己选cube切片。比如Push业务DWB表几十亿数据量，想要快速支持十几个维度和十几个指标秒级交叉分析，只能开发提 ………………………………