Spark 内核的设计原理

文章预览

导读   本期是 DataFun 深入浅出 Apache Spark 第一期的分享，主讲老师耿嘉安开场介绍了自己的从业经历，当前就职的数新网络与 Spark 相关的两款产品 CyberEngine 和 CyberData。 本次分享题目为《Spark 内核的设计原理》，主要介绍： 1.  初识 Spark 2.  Spark 有哪些特点 3.   Spark 基本概念 4.  Spark 的核心功能 5.  Spark 模型设计 6.  Spark 部署架构 7.  公司简介 分享嘉宾｜ 耿嘉安 数新网络高级架构专家 Spark Committer 编辑整理｜ 董晨 内容校对｜李瑶 出品社区｜ DataFun 01 初识 Spark Spark 是一个通用的并行计算框架，由加州伯克利大学的 AMP 实验室在 2009 年开发，并且在 2010 年以 0.6 版本开源，2013 年左右成为 Apache 旗下在大数据领域最活跃的开源项目之一。 02 Spark 有哪些特点 Spark 的基本特点可归纳为以下五点：灵活的内存管理，灵活的并行度控制，可选的 Shuffle 排 ………………………………