【CVPR2025】ProAPO: 逐步自动化提示优化用于视觉分类

文章预览

视觉-语言模型（VLMs）通过大规模成对的图像-文本数据进行训练，在图像分类领域取得了显著进展。其性能在很大程度上依赖于提示（prompt）的质量。尽管最近的研究表明，由大型语言模型（LLMs）生成的视觉描述能够增强VLMs的泛化能力，但由于LLMs的“幻觉”问题，针对特定类别的提示可能不准确或缺乏区分度。本文旨在通过最小化监督且无需人工干预的方式，为细粒度类别寻找具有视觉区分度的提示。我们提出了一种基于进化的算法，逐步优化语言提示，从任务特定的模板到类别特定的描述。与优化模板不同，类别特定的候选提示搜索空间呈爆炸式增长，这增加了提示生成成本、迭代次数以及过拟合问题。为此，我们首先引入了几种简单但有效的基于编辑和进化的操作，通过一次性查询LLMs生成多样化的候选提示。接着，提出了两种采样策略，以 ………………………………