Spark SQL 性能飞跃：揭秘分析层优化秘籍

文章预览

导读   本次是 Spark 系列分享的第四期分享，第一期分享了 Spark core 的概念、原理和架构，第二期分享了 Spark SQL 的概念和原理，第三期是 Spark SQL 解析层的原理和优化案例。本次分享内容主要是 Spark SQL 分析层的原理和优化的案例，且此优化案例是对于理解分析层原理很重要的。 今天的介绍会围绕下面五点展开： 1.  前情提要 2.  Spark SQL 分析层原理 3.   优化案例 4.  总结 5.  Q 分享嘉宾｜ 耿嘉安 数新网络高级架构专家 Spark Committer 编辑整理｜ 谢倩倩 内容校对｜李瑶 出品社区｜ DataFun 01 前情提要 首先介绍数新智能与 Spark 有深度关系的两个产品。 一是赛博数智引擎，即 CyberEngine，它可以帮助用户管理、部署、运维各种组件。该引擎旨在打造一款云原生的数据服务底座，同时支持各种任务的调度，包括存储等各方面的管理和运维工作。 二是赛博 ………………………………