CUDA-MODE课程笔记 第6课: 如何优化PyTorch中的优化器

文章预览

我的课程笔记，欢迎关注：https://github.com/BBuf/how-to-optim-algorithm-in-cuda/tree/master/cuda-mode CUDA-MODE课程笔记 第6课: 如何优化PyTorch中的优化器 课程内容 上面三张Slides讲述了运行时间（runtime）和内存使用（memory usage）之间的权衡关系。 第一张Slides： 介绍了运行时间和内存使用通常是相互矛盾的。 展示了两种运输车辆：一辆小卡车（代表低内存使用但速度慢）和一辆大卡车（代表高内存使用但速度快）。 提出了一个问题：如果要运送512辆车，应该选择哪种卡车？ 第二张Slides： 在第一张图的基础上增加了一个新的限制条件：途中有一座低通桥。 这代表了在某些情况下，我们可能无法简单地选择高内存使用的方案（大卡车），因为存在硬件或系统限制。 第三张Slides： 明确表示"今天我们专注于速度！" 显示了小卡车被划掉，表明选择了大卡车（高内存使用 ………………………………