机器学习基础：如何防止过拟合

文章预览

作者丨Poll  来源丨炼丹笔记   编辑丨极市平台 导读   本文对几种常用的防止模型过拟合的方法进行了详细的汇总和讲解。 其实正则化的本质很简单，就是对某一问题加以先验的限制或约束以达到某种特定目的的一种手段或操作。在算法中使用正则化的目的是防止模型出现过拟合。一提到正则化，很多同学可能马上会想到常用的L1范数和L2范数，在汇总之前，我们先看下LP范数是什么？ LP范数 范数简单可以理解为用来表征向量空间中的距离，而距离的定义很抽象，只要满足非负、自反、三角不等式就可以称之为距离。 LP范数不是一个范数，而是一组范数，其定义如下： p的范围是[1,∞)。p在(0,1)范围内定义的并不是范数，因为违反了三角不等式。 根据pp的变化，范数也有着不同的变化，借用一个经典的有关P范数的变化图如下： 上图表示了p从0到正无 ………………………………