PyTorch 常用 Tricks 总结

主要观点总结

本文介绍了关于深度学习中的九种技术点，包括指定GPU编号、查看模型每层输出详情、梯度裁剪、扩展单张图片维度、独热编码、防止验证模型时爆显存、学习率衰减、冻结某些层的参数以及对不同层使用不同学习率。

关键观点总结

关键观点1: 指定GPU编号

设置当前使用的GPU设备，根据需求调整GPU的编号和数量。

关键观点2: 查看模型每层输出详情

使用简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。

关键观点3: 梯度裁剪（Gradient Clipping）

在神经网络训练中，为了防止梯度爆炸或梯度消失，需要对梯度进行裁剪。

关键观点4: 扩展单张图片维度

在训练和测试神经网络模型时，需要扩展单张图片的维度以适应模型的输入要求。

关键观点5: 独热编码

在PyTorch中使用交叉熵损失函数时，label会自动转化为one-hot编码。

关键观点6: 防止验证模型时爆显存

在验证模型时关闭autograd，提高速度并节约内存。

关键观点7: 学习率衰减

随着训练的进行，逐渐减小学习率以提高模型的训练效果。

关键观点8: 冻结某些层的参数

在训练预训练模型时，可以选择冻结某些层的参数，使其在训练过程中不发生变化。

关键观点9: 对不同层使用不同学习率

对模型的不同层设置不同的学习率，以更好地调整和优化模型。

文章预览

作者：z.defying 转载自：Datawhale 目录： 1 指定GPU编号 2 查看模型每层输出详情 3 梯度裁剪 4 扩展单张图片维度 5 独热编码 6 防止验证模型时爆显存 7 学习率衰减 8 冻结某些层的参数 9 对不同层使用不同学习率 1. 指定GPU编号 设置当前使用的GPU设备仅为0号设备，设备名称为  /gpu:0 ： os.environ["CUDA_VISIBLE_DEVICES"] = "0" 设置当前使用的GPU设备为0, 1号两个设备，名称依次为  /gpu:0 、 /gpu:1 ：  os.environ["CUDA_VISIBLE_DEVICES"] = "0,1"  ，根据顺序表示优先使用0号设备,然后使用1号设备。 指定GPU的命令需要放在和神经网络相关的一系列操作的前面。 2. 查看模型每层输出详情 Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。 使用很简单，如下用法： from torchsummary import summary summary(your_model, input_size=(chann ………………………………