减少Zero-shot多模态模型中的虚假相关性

文章预览

文章讨论了如何解决视觉语言模型（ VLMs ）中的虚假相关性问题，特别是在 zero -shot 分类任务中的表现。尽管 VLMs 在多个领域中展现了强大的 zero -shot 能力，但它们仍然面临着虚假相关性的问题，即模型预测可能依赖于不相关的特征，导致某些群体的性能较差。为了解决这一问题，文章提出了一种新方法 ——TIE （文本引导的图像嵌入翻译）。该方法通过利用文本提示引导图像嵌入的翻译，从而减轻虚假相关性的影响，且不需要标签数据或额外的训练。这种方法保留了图像嵌入的分布特性，并通过理论分析识别出最佳的翻译方向，从而优化了模型在零 -shot 任务中的群体鲁棒性。实验结果表明， TIE 在多个基准数据集上表现优越，尤其是在恶劣群体准确性（ worst-group accuracy ）方面有显著提升。 1 文本引导的图像嵌入翻译-TIE 首先，利用文本提示（如 ………………………………