深度学习训练模型时，GPU显存不够怎么办？

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 作者丨游客26024@知乎（已授权） 来源丨https://www.zhihu.com/question/461811359/answer/2492822726 编辑丨极市平台 极市导读   此篇博文以AlexNet为网络架构(其需要输入的图像大小为227x227x3)，CIFAR10为数据集，Adamw为梯度下降函数，学习率机制为ReduceLROnPlateau举例。旨为如何让网络模型加速训练，而非去了解其原理。 题外话，我为什么要写这篇博客，就是因为 我穷 ！ 没钱 ！租的服务器使用多GPU时一会钱就烧没了（gpu内存不用），急需要一种trick，来降低内存加速。 回到正题，如果我们使用的 数据集较大 ，且 网络较深 ，则会造成 训练较慢 ，此时我们要 想加速训练 可以使用 Pytorch的AMP （ autocast与Gradscaler ）；本文便是依据此写出的博文，对 Pytorch的AMP ( autocast与Gradscaler 进行对比) ………………………………