比较全面的L1和L2正则化的解释

文章预览

前言 前段时间写了一篇文章《深入理解线性回归算法（二）：正则项的详细分析》，文章提到L1是通过稀疏参数（减少参数的数量）来降低复杂度，L2是通过减小参数值的大小来降低复杂度。网上关于L1和L2正则化降低复杂度的解释五花八门，易让人混淆，看完各种版本的解释后过几天又全部忘记了。因此，文章的内容总结了网上各种版本的解释，并加上了自己的理解，希望对大家有所帮助。 目录 1、优化角度分析 2、梯度角度分析 3、先验概率角度分析 4、 知乎点赞最多的图形角度分析 5、 限制条件角度分析 6.、 PRML的图形角度分析 7、总结 1、优化角度分析 1、L2正则化的优化角度分析 在限定的区域，找到使 最小的值。 图形表示为： 上图所示，红色实线是正则项区域的边界，蓝色实线是 的等高线，越靠里的等高圆， 越小，梯度的反方向是 减小最 ………………………………