这17 种方法让 PyTorch 训练速度更快！

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 掌握这 17 种方法，用最省力的方式，加速你的 Pytorch 深度学习训练。 近日，Reddit 上一个帖子热度爆表。主题内容是关于怎样加速 PyTorch 训练。原文作者是来自苏黎世联邦理工学院的计算机科学硕士生 LORENZ KUHN，文章向我们介绍了在 使用 PyTorch 训练深度模型时最省力、最有效的 17 种方法 。 该文所提方法，都是假设你在 GPU 环境下训练模型。具体内容如下。 17 种加速 PyTorch 训练的方法 1. 考虑换一种学习率 schedule 学习率 schedule 的选择对模型的收敛速度和泛化能力有很大的影响。Leslie N. Smith 等人在论文《Cyclical Learning Rates for Training Neural Networks》、《Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates 》中提出了周期性（Cyclical）学习率以及 1Cycle 学习率 sch ………………………………