ACL 2024 | PlugIR：开源还不用微调，首尔大学提出即插即用的多轮对话图文检索

文章预览

前言   即插即用的PlugIR通过LLM提问者和用户之间的对话逐步改进文本查询以进行图像检索，然后利用LLM将对话转换为检索模型更易理解的格式（一句话）。首先，通过重新构造对话形式上下文消除了在现有视觉对话数据上微调检索模型的必要性，从而使任意黑盒模型都可以使用。其次，构建了LLM问答者根据当前情境中检索候选图像的信息生成关于目标图像属性的非冗余问题，缓解了生成问题时出现的噪音和冗余性问题。此外，还新提出Best log Rank Integral（BRI）指标，用于衡量多轮任务中的综合性能。论文验证检索系统在各种环境下的有效性，并突出了其灵活的能力。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 论文: Interactive Text-to-Image Retrieval with Large L ………………………………