多模态复合编辑与检索综述

文章预览

来源：专知 本文 为论文介绍 ，建议阅读 5 分钟 本综述是首个关于多模态复合检索的全面文献回顾，是对现有多模态融合综述的及时补充。 在现实世界中，信息跨越不同模态且种类繁多，理解并利用多种数据类型来改进检索系统是研究的关键重点之一。多模态复合检索集成了文本、图像、音频等多种模态，以提供更精准、个性化和上下文相关的结果。为了促进对这一有前景方向的深入理解，本综述深入探讨了多模态复合编辑与检索，涵盖了图文复合编辑、图文复合检索及其他多模态复合检索。本文系统整理了应用场景、方法、基准、实验以及未来方向。在大模型时代，多模态学习是一个热门话题，同时也见证了《PAMI》期刊上关于多模态学习和视觉-语言模型与Transformers的若干综述的发表。据我们所知，本综述是首个关于多模态复合检索的全面文献 ………………………………