PlugIR：开源还不用微调，首尔大学提出即插即用的多轮对话图文检索 | ACL 2024

文章预览

即插即用的 PlugIR 通过 LLM 提问者和用户之间的对话逐步改进文本查询以进行图像检索，然后利用 LLM 将对话转换为检索模型更易理解的格式（一句话）。首先，通过重新构造对话形式上下文消除了在现有视觉对话数据上微调检索模型的必要性，从而使任意黑盒模型都可以使用。其次，构建了 LLM 问答者根据当前情境中检索候选图像的信息生成关于目标图像属性的非冗余问题，缓解了生成问题时出现的噪音和冗余性问题。此外，还新提出 Best log Rank Integral （ BRI ）指标，用于衡量多轮任务中的综合性能。论文验证检索系统在各种环境下的有效性，并突出了其灵活的能力。 来源：晓飞的算法工程笔记 公众号 论文: Interactive Text-to-Image Retrieval with Large Language Models: A Plug-and-Play Approach 论文地址：https://arxiv.org/abs/2406.03411 论文代码：https://github.com/Saehyung-Lee/Plu ………………………………