正则化方法小结

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 作者：Poll 原文：https://www.cnblogs.com/maybe2030/p/9231231.html 编辑：石头 阅读目录 LP范数 L1范数 L2范数 L1范数和L2范数的区别 Dropout Batch Normalization 归一化、标准化 & 正则化 Reference 在总结正则化（Regularization）之前，我们先谈一谈正则化是什么，为什么要正则化。 个人认为正则化这个字眼有点太过抽象和宽泛， 其实正则化的本质很简单，就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作 。 在算法中使用正则化的目的是防止模型出现过拟合 。一提到正则化，很多同学可能马上会想到常用的L1范数和L2范数，在汇总之前，我们先看下LP范数是什么鬼。 LP范数 范数简单可以理解为用来表征向量空间中的距离，而距离的定义很抽象， 只要满足非负、 ………………………………