实践教程｜GPU 利用率低常见原因分析及优化

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 仅用于学术分享，若侵权请联系删除 一、GPU 利用率的定义 本文的 GPU 利用率主要指 GPU 在时间片上的利用率，即通过 nvidia-smi 显示的 GPU-util 这个指标。统计方式为：在采样周期内，GPU 上面有 kernel 执行的时间百分比。 二、GPU 利用率低的本质 常见 GPU 任务运行流程图如下： 如上图所示，GPU 任务会交替的使用 CPU 和 GPU 进行计算，当 CPU 计算成为瓶颈时，就会出现 GPU 等待的问题，GPU 空跑那利用率就低了。那么优化的方向就是缩短一切使用 CPU 计算环节的耗时，减少 CPU 计算对 GPU 的阻塞情况。常见的 CPU 计算操作如下： 数据加载 数据预处理 模型保存 loss 计算 评估指标计算 日志打印 指标上报 进度上报 三、常见 GPU 利用率低原因分析 1、数据加载相关 1）存储和计算跨 ………………………………