大规模深度学习优化技术在PAI平台中的应用及实践

文章预览

作者：杨军，阿里云高级算法专家 1.前言 自2012年Deep Learning的代表模型AlexNet在ImageNet大赛中力压亚军，以超过10个百分点的绝对优势夺得头筹之后，依托于建模技术的进步、硬件计算能力的提升、优化技术的进步以及海量数据的累积，Deep Learning在语音、图像以及文本等多个领域不断推进，相较于传统作法取得了显著的效果提升。工业界和学术界也先后推出了用于Deep Learning建模用途的开源工具和框架，包括Caffe、Theano、Torch、MXNet、TensorFlow、Chainer、CNTK等等。其中MXNet、TensorFlow以及CNTK均对于训练过程提供了多机分布式支持，在相当大程度上解放了DL建模同学的生产力。但是，DL领域的建模技术突飞猛进，模型复杂度也不断增加。从模 ………………………………