TPAMI 2024 | 上交团队提出Dropout的隐式正则化，轻松提高网络模型泛化性

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 Implicit Regularization of Dropout 题目：Dropout的隐式正则化 作者：Zhongwang Zhang and Zhi-Qin John Xu源码：https://github.com/sjtuzzw/torch_code_frame 摘要 在神经网络训练过程中，了解如何通过使用流行的正则化方法——dropout，来实现良好的泛化解决方案是非常重要的。在这项工作中，我们提出了dropout的隐式正则化的理论推导，并通过一系列实验进行了验证。此外，我们从数值上研究了隐式正则化的两个含义，这些直观地解释了为什么dropout有助于泛化。首先，我们发现使用dropout训练的隐藏神经元的输入权重倾向于凝聚在孤立的方向上。凝聚是非线性学习过程中的一个特征，它使网络复杂度降低。其次，我们发现使用dropout进行训练会导致神经网络达到比标准梯度下降训练更平坦的最小值 ………………………………