7个提升PyTorch性能的技巧

文章预览

作者 | William Falcon 来源 | AI公园 在过去的10个月里，在PyTorch Lightning工作期间，团队和我已经接触过许多结构PyTorch代码的风格，我们已经发现了一些人们无意中引入瓶颈的关键地方。 我们非常小心地确保PyTorch Lightning不会对我们为你自动编写的代码犯任何这些错误，我们甚至会在检测到这些错误时为用户纠正这些错误。然而，由于Lightning只是结构化的PyTorch，而你仍然控制所有的PyTorch，因此在许多情况下，我们不能为用户做太多事情。 此外，如果不使用Lightning，可能会在无意中将这些问题引入代码。 为了帮助你训练得更快，这里有8个技巧，你应该知道它们可能会减慢你的代码。 在DataLoaders中使用workers 第一个错误很容易纠正。PyTorch允许同时在多个进程上加载数据。 在这种情况下，PyTorch可以通过处理8个批次绕过GIL锁，每个批次在一个单独的进程上 ………………………………