UniIR：通用多模态信息检索模型训练和评测标准

文章预览

现有的信息检索（IR）模型通常假设一个同质化的格式，限制了它们对多样化用户需求的适用性，例如用文本描述搜索图像，用新闻标题图片搜索新闻文章，或用查询图像找到类似的图片。为了满足这些不同的信息检索需求，我们引入了UniIR，这是一个统一的、由指令引导的多模态检索器，能够处理跨模态的八种不同的检索任务。UniIR是一个单一的检索系统，联合训练了十个不同的多模态IR数据集，解释用户指令以执行各种检索任务，在现有数据集上展示了强大的性能，并对新任务进行了零样本泛化。我们的实验强调了多任务训练和指令调整是UniIR泛化能力的关键。此外，我们构建了M-BEIR，一个多模态检索基准，具有全面的结果，以标准化通用多模态信息检索的评估。 我们翻译解读最新论文：UniIR训练和基准测试通用多模态信息检索器 ，文末有论文 ………………………………