【ICLR2025】通过自适应熵感知优化实现稳健的多模态开放集测试时自适应

文章预览

测试时自适应（TTA）在解决训练数据与测试数据之间的分布偏移方面展现出了显著的潜力。开放集测试时自适应（OSTTA）旨在将源预训练模型在线适应到包含未知类别的未标记目标领域。当涉及多模态数据时，这项任务变得更加具有挑战性。现有的方法主要集中在单模态OSTTA，通常通过过滤低置信度样本来解决问题，但未能应对多模态数据的复杂性。在本研究中，我们提出了自适应熵感知优化（AEO），这是第一个专门设计用来解决多模态开放集测试时自适应（MM-OSTTA）问题的框架。我们的分析表明，目标领域中已知样本与未知样本之间的熵差异与MM-OSTTA的性能密切相关。为了利用这一点，我们提出了两个关键组件：未知类别感知自适应熵优化（UAE）和自适应模态预测差异优化（AMP）。这些组件通过放大已知样本与未知样本之间的熵差异，增强了模型 ………………………………