提高GPU训练利用率的Tricks

文章预览

GPU训练 Author：夕小瑶 From：夕小瑶的卖萌屋       前言 首先，如果你现在已经很熟悉tf.data+estimator了，可以把文章x掉了╮(￣▽￣””)╭ 但是！如果现在还是在进行session.run(..)的话！尤其是苦恼于GPU显存都塞满了利用率却上不去的童鞋，这篇文章或许可以给你打开新世界的大门噢(￣∇￣) 如果发现经过一系列改良后训练效率大大提高了，记得回来给小夕发小红包(￣∇￣) 不过，这并不是一篇怒贴一堆代码，言（三）简（言）意（两）赅（语）就结束的CSDN文风的文章。。。所以伸手党们也可以X掉了╮(￣▽￣””)╭ 缘起 很早很早之前，在小夕刚接触tensorflow和使用GPU加速计算的时候，就产生过一个疑惑。为什么显卡的显存都快满了，GPU利用率还显示这么低呢？好浪费 ………………………………