样本权重对深度学习可能没那么有用？

文章预览

在上一篇文章中： 机器学习中的样本重要性权重 (Importance Weight) 我们通过简单理论分析似乎说明，使用目标分布的先验构造的样本权重，可以使得学习出来的模型更加贴合目标分布。在“回归问题中的X的漂移”这个例子中，可以清晰地看到权重可以完全改变linear regression学习的结果。 当模型本身是能力不足且设置不够合理的时候，以及样本不可分的时候，权重的影响显而易见，因为模型能力不足，顾此失彼，只能学习一部分，或者说并不能拟合给定的样本点。那么样本权重，就直接告诉模型你应该重点学习哪部分样本。因此，样本权重的方法在传统机器学习中被广泛应用，并公认是有效的。 而当模型能力足够强时，例如深度学习模型，模型理论上可以完全拟合给定的样本点，再奇怪的分界线也能给你学出来。所以理论上讲，对于深度学习模型， ………………………………