专栏名称: oldpan博客
老潘的博客,程序员眸中的fantasy life,分享AI技术干货,让大家少走弯路~
今天看啥  ›  专栏  ›  oldpan博客

如何把 PyTorch 的 GPU 利用率提升到 100% ?

oldpan博客  · 公众号  ·  · 2024-08-06 18:27
    

文章预览

来自  Fei Kong 链接  https://fkong.tech/posts/2023-11-19-torch-gpu-util/ 时至今日,GPU 的珍贵程度无需多言,再加上当前特殊的大环境,手头拥有的 GPU 更显得是一种稀缺资源。在过去的几年里,我们在许多 PyTorch 案例中发现,用户手中的 GPU 并未得到充分的发挥,存在着大量的浪费现象。这不仅是对昂贵硬件资源的一种浪费,也限制了计算任务的效率和速度。因此,我们要尽可能把手中的 GPU 充分利用起来。 GPU 利用率 GPU 利用率 (Utilization) 有多种衡量方式,其中最常见的一种是 GPU 上有计算和图形活动的时间占总运行时间的比例。如果 GPU 利用率不足100%,则说明 GPU 在程序运行的某些时间处在空闲状态,没有被充分利用起来。 测量 GPU 利用率通常有以下几种方式: NVIDIA System Management Interface (NSMI): nvidia-smi 包含一个设备监视器,在执行程序的同时通过 nvidia-smi ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览