PyTorch 常用 Tricks 总结

文章预览

作者：z.defying 转载自：Datawhale 目录： 1 指定GPU编号 2 查看模型每层输出详情 3 梯度裁剪 4 扩展单张图片维度 5 独热编码 6 防止验证模型时爆显存 7 学习率衰减 8 冻结某些层的参数 9 对不同层使用不同学习率 1. 指定GPU编号 设置当前使用的GPU设备仅为0号设备，设备名称为  /gpu:0 ： os.environ["CUDA_VISIBLE_DEVICES"] = "0" 设置当前使用的GPU设备为0, 1号两个设备，名称依次为  /gpu:0 、 /gpu:1 ：  os.environ["CUDA_VISIBLE_DEVICES"] = "0,1"  ，根据顺序表示优先使用0号设备,然后使用1号设备。 指定GPU的命令需要放在和神经网络相关的一系列操作的前面。 2. 查看模型每层输出详情 Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。现在在PyTorch中也可以实现这个功能。 使用很简单，如下用法： from torchsummary import summary summary(your_model, input_size=(chann ………………………………