ODPS开发大全：进阶篇

文章预览

本文旨在收集整理ODPS开发中 入门及进阶级知识 ，尽可能涵盖大多数ODPS开发问题，成为一本mini百科全书，后续也会持续更新。希望通过笔者的梳理和理解，帮助刚接触ODPS开发的同学快速上手。 本系列分为两部分： 入门篇 和 进阶篇 。 ODPS开发大全：入门篇 常用参数设置 常用的调整无外乎调整map、join、reduce的个数，map、join、reduce的内存大小。 以ODPS的参数设置为例，参数可能因版本不同而略有差异。 参数类型 具体使用 Map设置 set odps.sql.mapper.cpu=100 作用：设置处理Map Task每个Instance的CPU数目，默认为100，在[50,800]之间调整。场景：某些任务如果特别耗计算资源的话，可以适当调整Cpu数目。对于大多数Sql任务来说，一般不需要调整Cpu个数的。 set odps.sql.mapper.memory=1024 作用：设定Map Task每个Instance的Memory大小，单位M，默认1024M，在[256,12288]之间调整。场 ………………………………