PyTorch 数据加载器有两个糟糕的默认设置。修复它让我的速度-20240929082333

文章预览

2024-09-29 08:23 本条微博链接 PyTorch 数据加载器有两个糟糕的默认设置。 修复它让我的速度提高了约 5 倍⚡️ 在任何使用 GPU 进行标准 PyTorch 模型训练中： - .to (device) 将数据传输到 GPU。 - 在 GPU 上发生这种情况后，一切都会执行。 这意味着当 GPU 工作时，CPU 处于空闲状态，当 CPU 工作时，GPU 处于空闲状态。 内存固定可以优化这一点。 它的作用如下： - 当模型在第一个小批量上进行训练时，CPU 可以将第二个小批量传输到 GP ………………………………