专栏名称: 瓦力算法学研所
我们是一个致力于分享人工智能、机器学习和数据科学方面理论与应用知识的公众号。我们将分享最新的人工智能和数据科学技术、案例、研究成果、新闻和趋势,以及如何应用这些技术来解决实际问题,探索每一项技术落地的可行性方案。
今天看啥  ›  专栏  ›  瓦力算法学研所

大模型面经—如何评估显卡利用率及显卡运用优化方法

瓦力算法学研所  · 公众号  ·  · 2024-11-16 13:43
    

文章预览

技术总结专栏 作者:喜欢卷卷的瓦力 本篇总结了显卡利用率评估方法及显卡运用优化方法。 本篇来总结一些显卡优化的经验,还是按照面经的形式给出,希望能给到大家一些实际训练效率优化的帮助~ 下面是一个快捷目录。 一、如何评估显卡利用率? 二、如何优化显存利用率?  一、如何评估显卡利用率 使用deepseed时,zero3如果没有 nvlink,多卡训练下会变慢很多,下面有三种方法来评估训练时发挥了多少GPU性能。 1. flops 比值法 采用 Nvidia可参考的显卡峰值计算速度进行计算 gpu 利用率 = 实测的flops/显卡理论上的峰值flops  实测的flops可以直接用 DeepSpeed Flops Profiler直接得到。 举例:deepspeed 实测flops 100tflops,而用的是A100卡理论峰值312tflops,可以得到GPU 利用率只有 32.05% 2. throughout 估计法 根据 论文中的训练速度或者吞吐量进行计算 ,一般论文中会说 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览