交叉熵损失(Cross-entropy)和平方损失(MSE)究竟有何区别？

文章预览

↑ 点击 蓝字  关注极市平台 作者丨苏学算法 来源丨苏学算法 编辑丨极市平台 极市导读   相信许多人对吴恩达大佬的机器学习教程中的二分类交叉熵有深刻的印象，交叉熵损失为什么会优于MSE，本文详细讲解了两者之间的差别以及两者的优缺点。  >> 加入极市CV技术交流群，走在计算机视觉的最前沿 一、概念区别 1. 均方差损失函数（MSE） 简单来说，均方误差（MSE）的含义是求一个batch中n个样本的n个输出与期望输出的差的平方的平均值、 2. Cross-entropy（交叉熵损失函数) 交叉熵是用来评估当前训练得到的 概率分布 与真实分布的差异情况。它刻画的是实际输出（概率）与期望输出（概率）的距离，也就是交叉熵的值越小，两个概率分布就越接近。 二、为什么不用MSE（两者区别详解） 原因 1：交叉熵loss权重更新更快 1. MSE 比如对于一个神经元（单 ………………………………