多模态复合编辑检索技术综述: 概念, 应用, 方法, 实验, 挑战, 趋势

文章预览

摘要—在现实世界中，信息丰富多样，跨越不同的模态，理解和利用各种数据类型以改进检索系统是研究的关键焦点。多模态复合检索整合了文本、图像和音频等多种模态，以提供更准确、个性化和情境相关的结果。为了促进对这一有前景方向的深入理解，本综述深入探讨了多模态复合编辑和检索，涵盖了图像-文本复合编辑、图像-文本复合检索以及其他多模态复合检索。在本综述中，我们系统地组织了应用场景、方法、基准、实验和未来方向。多模态学习是大模型时代的热门话题，并且在PAMI杂志上也见证了一些关于多模态学习和基于变换器的视觉-语言模型的综述。据我们所知，本综述是关于多模态复合检索文献的首次全面回顾，它是多模态融合对现有综述的及时补充。 索引术语—多模态复合检索，多模态融合，图像检索，图像编辑。 我们翻译 ………………………………