如何把 PyTorch 的 GPU 利用率提升到 100% ?

文章预览

【点击】 加入大模型技术交流群 原文：https://fkong.tech/posts/2023-11-19-torch-gpu-util/ 时至今日，GPU 的珍贵程度无需多言，再加上当前特殊的大环境，手头拥有的 GPU 更显得是一种稀缺资源。在过去的几年里，我们在许多 PyTorch 案例中发现，用户手中的 GPU 并未得到充分的发挥，存在着大量的浪费现象。这不仅是对昂贵硬件资源的一种浪费，也限制了计算任务的效率和速度。因此，我们要尽可能把手中的 GPU 充分利用起来。 GPU 利用率 GPU 利用率  (Utilization) 有多种衡量方式，其中最常见的一种是 GPU 上有计算和图形活动的时间占总运行时间的比例。如果 GPU 利用率不足100%，则说明 GPU 在程序运行的某些时间处在空闲状态，没有被充分利用起来。 测量 GPU 利用率通常有以下几种方式: NVIDIA System Management Interface (NSMI):  nvidia-smi  包含一个设备监视器，在执行程 ………………………………