机器学习中的样本重要性权重 (Importance Weight)

文章预览

样本 重要性权重 （Importance Weighting, IW）是一种在机器学习中应对「 训练-测试数据分布不一致 」问题的经典方法，通过对样本给予合适的权重，理论上我们可以在分布不一致的情况下，学出在目标分布上的无偏估计。 unset unset 简单理论推导 unset unset 假设训练集样本 来自于分布 ，我们称该分布为 原始分布 （Source Distribution），在该分布上我们要学习某个函数 ，从而在某个 目标分布 （Target Distribution） 上进行预测。在目标分布 上对 的估计为： 在原始分布 上对 的估计则为： 要想在原始分布 上能够拟合出在目标分布 上的无偏估计，我们可以通过以下的变换来得到： 可见，对函数 乘上一个权重 ，然后再在原始分布 上进行估计，就可以得到在目标分布 上的无偏估计，这里的 就是所谓的 样本重要性权重（Importance Weight，IW） 。 也就是说，我 ………………………………