多语言BERT与图像编码器：EfficientNet0和微型Swin Transformer在视觉检索中的应用 ！

文章预览

前言   本研究探索了在低资源语言中为图像检索开发多模视觉语言模型，特别是阿塞拜疆。现有的视觉语言模型主要支持高资源语言，并在计算上是耗时的。 为解决低资源语言视觉检索的挑战，作者将CLIP模型架构集成并采用了一些技术，以便在计算效率和性能之间实现平衡。这些技术包括通过机器翻译、图像增强和特定领域数据进一步训练变形器基础模型的注意机制。 作者将多语言BERT作为像ResNet50、EfficientNet0、图像 Transformer （ViT）和微型 Swin Transformer 那样的图像编码器。作者的研究表明，像EfficientNet0和微型Swin Transformer在它们训练的数据集（如COCO、Flickr30k和Flickr8k）上表现最好。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 来源： AIGC先锋 科技 仅 ………………………………