深度学习编译器架构

文章预览

2020年4月来自 北航和清华大学的综述论文“The Deep Learning Compiler: A Comprehensive Survey”。 正是深度学习硬件上部署各种模型的困难推动了社区深度学习编译器的研究和开发。 工业界和学术界已经提出了几种深度学习编译器，例如Tensorflow XLA和TVM。 深度学习编译器将不同框架描述的深度学习模型为某个硬件平台生成优化的代码。 但是，目前还都没有全面分析深度学习编译器这种独特设计架构。 本文详细剖析常用的设计思想，对现有的深度学习编译器进行全面总结，重点是面向深度学习的多级中间表示（IR）以及前后端的优化。 具体来说，作者从各个方面对现有编译器做全面比较，对多级IR的设计进行了详细分析，并介绍了常用的优化技术。 最后，文章强调对今后编译器潜在研究方向的一些见解。 基本上这是深度学习编译器设计体系结构（不是硬件方 ………………………………