多模态表征学习综述：演变历史、预训练方法、应用场景、数据集合、发展趋势

主要观点总结

多模态表征学习是处理不同模态信息及其相互关系的技术，已在多种应用中取得显著成功。研究人员提出了多种方法解决任务，如视觉问答、自然语言视觉推理等。本文综述了深度学习多模态架构的演变和增强，包括特定任务方法、预训练类型和目标、从先进预训练方法到统一架构，以及多模态任务类别和可能的未来改进。还提供了新研究人员的数据集部分，探讨了主要挑战、差距和潜在研究主题。

关键观点总结

关键观点1: 多模态表征学习的重要性

多模态表征学习是处理不同模态信息及其相互关系的技术，已在多种应用中取得显著成功。

关键观点2: 多模态表征学习的研究方法

研究人员提出了多种方法解决任务，如视觉问答、自然语言视觉推理等。

关键观点3: 深度学习多模态架构的演变和增强

本文综述了深度学习多模态架构的演变和增强，包括特定任务方法、预训练类型和目标、从先进预训练方法到统一架构，以及多模态任务类别和可能的未来改进。

关键观点4: 数据集和基准

提供了新研究人员的数据集部分，探讨了主要挑战、差距和潜在研究主题。

文章预览

多模态表征学习，作为一种学习不同模态信息及其相互关系的技术，已经在多种应用中取得了显著的成功，例如视觉问答（Visual Question Answering, VQA）、自然语言视觉推理（Natural Language for Visual Reasoning, NLVR）和视觉语言检索（Vision Language Retrieval, VLR）。在这些应用中，跨模态交互和不同模态的互补信息对于高级模型执行任何多模态任务至关重要，例如理解、识别、检索或生成。研究人员提出了多种方法来解决这些任务。基于变换器的架构的不同变体在多个模态上表现出色。本综述提供了关于深度学习多模态架构的演变和增强的全面文献，以处理文本、视觉和音频特征，用于各种跨模态和现代多模态任务。本研究总结了（i）最新的特定任务深度学习方法，（ii）预训练类型和多模态预训练目标，（iii）从最先进的预训练多模态方法到统一架构，以及（ ………………………………