数据性能突破：Spark SQL解析层优化技巧与实践

文章预览

导读   本系列是 Spark 系列分享的第三期。第一期分享了 Spark Core 的一些基本原理和一些基本概念，包括一些核心组件。Spark 的所有组件都围绕 Spark Core 来运转，其中最活跃的一个上层组件是 Spark SQL。第二期分享则专门介绍了 Spark SQL 的基本架构和原理。从第三期开始，后续的分享都围绕着 Spark SQL 展开，尤其是 Spark SQL 的优化。Spark 作为一个常用的批处理大数据引擎，在各大公司的这个业务线上，存在于离线计算及一些机器查询的场景，而这些场景下最常用的方式就是兼具易用性和学习门槛低等特点的 Spark SQL。今天的分享是关于解析层及其优化，解析层处于 Spark SQL 处理流程的第一个阶段，和后续将要分享的优化内容相比，较为简单且易于大家理解。 本次分享主要分为五个部分： 1.  产品介绍 2.  Spark SQL 解析层原理 3.   优化案例 4.  总结 5.  Q ………………………………