手把手教你 Spark 性能调优

文章预览

（点击 上方公众号 ，可快速关注） 来源：xrzs， my.oschina.net/leejun2005/blog/1157245 如有好文章投稿，请点击 → 这里了解详情 0、背景 上周四接到反馈，集群部分 spark 任务执行很慢，且经常出错，参数改来改去怎么都无法优化其性能和解决频繁随机报错的问题。 看了下任务的历史运行情况，平均时间 3h 左右，而且极其不稳定，偶尔还会报错：   1、优化思路 任务的运行时间跟什么有关？ （1）数据源大小差异 在有限的计算下，job的运行时长和数据量大小正相关，在本例中，数据量大小基本稳定，可以排除是日志量级波动导致的问题： （2）代码本身逻辑缺陷 比如代码里重复创建、初始化变量、环境、RDD资源等，随意持久化数据等，大量使用 shuffle 算子等，比如reduc ………………………………