基于Transformer模型的数据模态转换综述

文章预览

Transformer模型在各类人工智能领域取得了显著进展，包括自然语言处理、计算机视觉和音频处理。这一成功自然引起了学术界和工业界研究人员的广泛关注。因此，许多Transformer变体（通常称为X-former）被开发用于这些领域。然而，针对这些特定模态转换的全面而系统的审查仍然缺乏。模态转换涉及将数据从一种表示形式转化为另一种形式，模仿人类整合和解释感官信息的方式。 本文对应用于文本、视觉和语音等主要模态的基于Transformer模型进行了全面回顾，讨论了它们的架构、转换方法和应用 。通过综合模态转换领域的文献，这篇综述旨在强调Transformer在推动AI驱动的内容生成和理解中的多样性和可扩展性。 人工智能（AI）受人类感知能力的启发，例如视觉、听觉和阅读，并试图复制这些能力 。通常，模态与特定的传感器相关联，形成一个独特的 ………………………………