深度学习中 PyTorch 的 Autograd 详解

文章预览

PyTorch 作为一个深度学习平台，在深度学习任务中比 NumPy 这个科学计算库强在哪里呢？我觉得 一是 PyTorch 提供了自动求导机制，二是对 GPU 的支持 。由此可见，自动求导 (autograd) 是 PyTorch，乃至其他大部分深度学习框架中的重要组成部分。 了解自动求导背后的原理和规则，对我们写出一个更干净整洁甚至更高效的 PyTorch 代码是十分重要的。但是，现在已经有了很多封装好的 API，我们在写一个自己的网络的时候，可能几乎都不用去注意求导这些问题，因为这些 API 已经在私底下处理好了这些事情。现在我们往往只需要，搭建个想要的模型，处理好数据的载入，调用现成的 optimizer 和 loss function，直接开始训练就好了。仔细一想， 好像连需要设置  requires_grad=True   的地方好像都没有。有人可能会问， 那我们去了解自动求导还有什么用啊？ 原因有很多 ………………………………