Blaze：快手自研 Spark 向量化引擎从生产实践到社区开源

文章预览

导读   大家好，我是快手数据平台部的张力，有着十多年的数据架构和数据平台研发经验。也曾在一些大厂，如百度、滴滴、蚂蚁就职过。今天我要给大家分享的是 Spark 向量化技术引擎——Blaze。目前 Blaze 已经在快手大规模地投入生产了。最近我们也在做关于 Blaze 的社区运营，欢迎大家关注和加入。 接下来的分享主要由下面六个部分组成： 1.  关于向量化的介绍 2.  Apache Spark 与向量化 3.   Blaze 引擎 4.  从 Benchmark 到实战 Blaze 落地生产环境的挑战 5.  Blaze 开源计划 6.  Q 分享嘉宾｜ 张力 快手  数据引擎架构师 编辑整理｜ 杨维旭 内容校对｜李瑶 出品社区｜ DataFun 01 关于向量化的介绍 1.  向量化是什么？ 首先需要申明的是，这里的“向量化”并不是机器学习领域里的“向量化”，而是特指在大数据计算引擎里的一种技术。 那么这里的向量化（Vec ………………………………