把训练集的损失降低到0，没必要

文章预览

在训练模型的时候，我们需要将损失函数一直训练到0吗？显然不用。一般来说，我们是用训练集来训练模型，但希望的是验证机的损失越小越好，而正常来说训练集的损失降到一定值后，验证集的损失就会开始上升，因此没必要把训练集的损失降低到0 既然如此，在已经达到了某个阈值之后，我们可不可以做点别的事情来提升模型性能呢？ICML2020的论文《Do We Need Zero Training Loss After Achieving Zero Training Error?》回答了这个问题，不过实际上它并没有很好的描述"为什么"，而只是提出了"怎么做" 左图：不加Flooding的训练示意图；右图：加了Flooding的训练示意图 简单来说，就是最终的验证集效果可能更好一些，原论文的实验结果如下： Flooding的实验结果：第一行W表示是否使用weight decay，第二行E表示是否使用early stop，第三行的F表示是否使用Flooding 个人分析 ………………………………