再也不用担心过拟合的问题了

文章预览

作者 | Sean Benhur J 编译 | ronghuaiyang 转自 | AI公园 使用SAM（锐度感知最小化），优化到损失的最平坦的最小值的地方，增强泛化能力。 论文：https://arxiv.org/pdf/2010.01412.pdf 代码：https://github.com/moskomule/sam.pytorch 动机来自先前的工作，在此基础上，我们提出了一种新的、有效的方法来同时减小损失值和损失的锐度。具体来说，在我们的处理过程中，进行锐度感知最小化(SAM)，在领域内寻找具有均匀的低损失值的参数。这个公式产生了一个最小-最大优化问题，在这个问题上梯度下降可以有效地执行。我们提出的实证结果表明，SAM在各种基准数据集上都改善了的模型泛化。 在深度学习中，我们使用SGD/Adam等优化算法在我们的模型中实现收敛，从而找到全局最小值，即训练数据集中损失较低的点。但等几种研究表明，许多网络可以很容易地记住训练数据并有能 ………………………………