【NeurIPS2024】面向视觉-语言模型测试时泛化的双原型演化

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 我们提出了 双原型演化 (Dual Prototype Evolving, DPE) ，这是一种新的VLMs测试时自适应方法，可以有效地从多模态中累积任务特定知识。 测试时自适应 (Test-time adaptation)  使模型能够在无标签测试样本下对多样化数据进行泛化，在现实应用中具有重要价值。近期，研究人员将这种设置应用于高级预训练视觉-语言模型 (Vision-Language Models, VLMs)，提出了如测试时提示调优（test-time prompt tuning）等方法，以进一步扩展其实际适用性。然而，这些方法通常仅关注单模态的VLMs适应性，且在处理更多样本时，未能累积任务特定知识。为了解决这一问题，我们提出了 双原型演化 (Dual Prototype Evolving, DPE) ，这是一种新的VLMs测试时自适应方法，可以有效地从多模态中累积任务特定知识。具体来说，我们创建并不断演化两组原型— ………………………………