图文跨模态检索研究综述

文章预览

作者：张振兴，王亚雄 来源：《北京交通大学学报》 编辑：陈萍萍的公主@一点人工一点智能 原文：https://jdxb.bjtu.edu.cn/CN/10.11860/j.issn.1673-0291.20230126 摘要： 图文跨模态检索作为跨模态计算研究的一个核心课题，一直受到学术界和工业界的高度重视。在过去的几十年里，随着深度学习技术的发展，特别是深度神经网络、Transformer架构以及图文对比学习等关键技术的广泛应用与革新，图文跨模态检索领域取得了显著的进展和突破。 本文在系统梳理图文跨模态检索的发展轨迹的基础上，重点关注其建模过程中的5个关键步骤，即训练数据准备、数据输入形式设计、图文特征抽取机制的选择、图文建模方法的选择以及优化目标的确立。为客观评估现有模型在跨模态检索任务上的性能水平，在多个权威的标注评测数据集上比较各类模型的表现，以揭示当前跨 ………………………………