CUDA性能简易优化（一）背景知识

文章预览

  CUDA性能优化简单教程，本篇介绍 性能优化背景 。 想知道实际中如何优化特定的层，或者某一层怎么设计才可能充分利用GPU，我们需要了解一些GPU的基础知识。 以下教程主要来源自NVIDIA官方： GPU Performance Background User's Guide [1] ，主要是讲解深度学习中，网络中一些operation在GPU中是如何执行的，已经一些和性能相关的细节注意点。 具体内容如下： GPU的基本结构 ( GPU Architecture Fundamentals [2] ) OP（ operation ）是如何被拆分设计为并行计算的 ( GPU Execution Model [3] ) 如何通过算术强度（arithmetic intensity）估算性能限制 ( Understanding Performance [4] ) 深度学习操作的大概分类及其各自的性能限制( DNN Operation Categories [5] ) 0x10. GPU的基础结构 GPU是一种高度并行的处理器架构，由processing elements and a memory hierarchy组成，和我们经常提到的SM和显存有直接关系。 在高层次上 ………………………………