深度学习中GPU和显存分析

文章预览

编者荐语   显存占用和GPU利用率是两个不一样的东西，显卡是由GPU计算单元和显存等组成的，显存和GPU的关系有点类似于内存和CPU的关系。显存可以看成是空间，类似于内存。GPU计算单元类似于CPU中的核，用来进行数值计算。 深度学习最吃硬件，耗资源，在本文，我将来科普一下在深度学习中： 何为“资源” 不同操作都耗费什么资源 如何充分的利用有限的资源 如何合理选择显卡 并纠正几个 误区： 显存和GPU等价，使用GPU主要看显存的使用？ Batch Size 越大，程序越快，而且近似成正比？ 显存占用越多，程序越快？ 显存占用大小和batch size大小成正比？ 0 预备知识 nvidia-smi 是Nvidia显卡命令行管理套件，基于NVML库，旨在管理和监控Nvidia GPU设备。 nvidia-smi的输出 这是nvidia-smi命令的输出，其中最重要的两个指标： 显存占用 GPU利用率 显存占用和GPU利用 ………………………………