7个提升PyTorch性能的技巧

文章预览

Kaggle竞赛宝典干货  作者： William Falcon ，来源：AI公园 导读 一些小细节，确实可以提升速度。 在过去的10个月里，在 PyTorch Lightning 工作期间， 团队和我 已经接触过许多结构PyTorch代码的风格，我们已经发现了一些人们无意中引入瓶颈的关键地方。 我们非常小心地确保PyTorch Lightning不会对我们为你自动编写的代码犯任何这些错误，我们甚至会在检测到这些错误时为用户纠正这些错误。然而，由于Lightning只是结构化的PyTorch，而你仍然控制所有的PyTorch，因此在许多情况下，我们不能为用户做太多事情。 此外，如果不使用Lightning，可能会在无意中将这些问题引入代码。 为了帮助你训练得更快，这里有8个技巧，你应该知道它们可能会减慢你的代码。 在DataLoaders中使用workers 第一个错误很容易纠正。PyTorch允许同时在多个进程上加载数据。 在这种情况下，P ………………………………