快手自研Spark向量化引擎正式发布，性能提升200%

文章预览

导读 Blaze 是快手自研的基于Rust语言和DataFusion框架开发的Spark向量化执行引擎，旨在通过本机矢量化执行技术来加速Spark SQL的查询处理。Blaze在快手内部上线的数仓生产作业也观测到了平均30%的算力提升，实现了较大的降本增效。本文将深入剖析blaze的技术原理、实现细节及在快手实际生产环境中的真实表现。  一、研究背景 当下，Spark 的重要发展方向之一是通过向量化执行进一步提升性能。向量化执行的思想是将算子的执行粒度从每次处理一行变成每次处理一个行组，以此来避免大量的函数调用。通过对行组内部处理按列进行计算，同时利用编译技术减少分支判断检查以及更多的 SIMD 优化执行计划。 Blaze 是快手自研的基于Rust语言和DataFusion框架开发的Spark向量化执行引擎，旨在通过本机矢量化执行技术来加速Spark SQL的查询处理 。 在性能方面，Blaz ………………………………