KDD 2024 | 数据驱动的分布偏移检测与自适应

文章预览

从数据生成的角度来看，上下文驱动的分布偏移（CDS）在特定上下文中引入了预测偏差，并对传统的训练范式提出了挑战。本文介绍一篇来 KDD 2024 的研究工作，该工作提出了一种用于检测和适应训练有素的模型中 CDS 的通用校准方法，称为基于残差的 CDS 检测器（Reconditionor），通过评估预测残差与其对应上下文之间的互信息来量化模型对 CDS 的脆弱性。Reconditionor 得分高表明易感性严重，因此需要模型适应。 在这种情况下，研究者提出了一个简单而强大的模型校准适配器框架，称为样本级上下文化适配器（SOLID）。该框架涉及策划一个与提供的测试样本上下文相似的数据集，然后对模型的预测层进行有限步骤的微调。研究者的理论分析表明，这种适应策略可以实现最佳的偏差-方差权衡，并且可以轻松适应广泛的模型。 【论文标题】 Calibration of Time-S ………………………………