使用PyTorch Profiler进行模型性能分析，改善并加速PyTorch训练

文章预览

来源：DeepHub IMBA 本文 约3100字 ，建议阅读 6 分钟 本文中介绍了使用PyTorch Profiler来查找运行瓶颈和一些简单的提速方法。 如果所有机器学习工程师都想要一样东西，那就是更快的模型训练——也许在良好的测试指标之后。 加速机器学习模型训练是所有机器学习工程师想要的一件事。更快的训练等于更快的实验，更快的产品迭代，还有最重要的一点需要更少的资源，也就是更省钱。 熟悉PyTorch Profiler 在进行任何优化之前，你必须了解代码的某些部分运行了多长时间。Pytorch profiler是一个用于分析训练的一体化工具。它可以记录： CPU操作时间、CUDA内核计时、内存消耗历史。 要记录事件，只需要将训练嵌入到分析器上下文中，如下所示：  import torch.autograd.profiler as profiler with profiler.profile( activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA], on_trace_ready=torc ………………………………