丁香园大数据基于 Apache Kyuubi / Celeborn 的实践

文章预览

导读   本文将分享丁香园大数据基于  Apache Kyuubi / Celeborn  的实践 。 主要包括两大部分 ： 1.  Apache Kyuubi 2.  Apache Celeborn(Incubating) 分享嘉宾｜陈福  丁香园 大数据基础平台负责人 编辑整理｜夏明月 内容校对｜李瑶 出品社区｜ DataFun 01 Apache Kyuubi 首先来介绍  Apache Kyuubi  的实践。 1. Kyuubi   总览 引入 Apache Kyuubi 是为了统一 Spark 程序入口，下图是 Kyuubi 的整体架构。Kyuubi 最吸引我们的特性包括兼容 Hive Beeline 和 RESTful API，支持多租户隔离，配合不同的 Share Level 使用，可以有效提升 Yarn 资源利用率，并且为 Spark 提供了很多插件，例如 Z-Order 优化、小文件合并、血缘、审计等。 2. 更灵活的灰度任务配置 在生产环境中，我们希望长时间运行的任务采用 Connection 级别的 share level 独享 Spark 应用资源执行任务，而对于小任务，为了减少 Spark submit 的等待 ………………………………