【A/B实验常见问题】实验异常值应该如何处理？

文章预览

01   背景   大家在做实验时有没有遇到过以下的问题？ 实验分流不太稳定，多次分流以后，发现随机分组历史数据指标波动特别大 实验结果不符合预期，在去掉几个特殊用户后结果变化较大、甚至正负反转 不同的业务场景设置的指标过滤规则不同，例如A场景过滤掉了成单超过100单的用户、但B场景没有过滤，实验指标应该选择哪个？ 这里实验者大概率是遇到了实验中的异常值问题，我们接下来会讨论在互联网AB实验场景中，应该如何进行处理？ 02   概念解析   从严格的学术角度来看，异常值并没有一个统一的定义和划分标准，在不同的领域会根据使用目的和数据特点有不同的定义逻辑和检验方法。即我们可以得到“在一个样本或集合中，与其余样本均有较大差异的样本点就是异常值”这样一个通用、模糊的概念，但具体差异较大的判定标准是 ………………………………