Emoji2Idiom：对多模态大型语言模型的神秘符号理解进行基准测试

文章预览

文章提出了一种新任务 —— 通过多模态大语言模型 (MLLMs) 将图像中的表情符号翻译为对应的文字（如成语、单词、或习语），以评估模型的视觉 - 语言理解能力。文章设计了一个高质量的基准数据集 “Emoji2Idiom” ，包括从网络和手动生成的数据集，用于支持这一任务。研究发现，现有的 MLLMs 在理解表情符号语义和推理文字含义方面存在显著不足。这项工作不仅提供了新的评测方法，还揭示了未来多模态模型需要改进的方向。 1 Emoji2Idiom书籍资料介绍 ·  数据收集：   首先，从互联网和公开资源中获取与表情符号相关的原始数据，包括游戏截图、视频片段和网络数据库，同时通过文本生成相应的表情符号序列以扩充数据多样性。 · 自动数据清理：   利用算法进行初步数据过滤，删除重复、缺失或质量低下的样本，同时检测并剔除不符合伦理要求 ………………………………