【他山之石】字节&华科发布MTVQA新基准：多模态大模型的多语种文字理解能力还有很长的路要走！

主要观点总结

本文主要介绍了多语种视觉文本理解的重要性及挑战，推出了一款新的测评基准MTVQA Bench。该基准涵盖了多种语言，评估了多模态大模型在不同语种的视觉文本理解能力方面的表现。结果显示，多语种文字理解仍存在较大挑战，现有的模型表现不尽如人意，特别是在开源模型方面。文章还详细描述了MTVQA的构建过程和数据集概览，以及不同语种的理解能力差距。最后，作者呼吁多模态大模型的研究和发展应更多关注多语种场景，以扩大应用范围并造福更多国家和地区的人们。

关键观点总结

关键观点1: MTVQA的推出背景

多模态大模型在视觉文本理解领域取得显著进展，但评估主要集中在中英文环境，对于多语种环境研究相对缺乏。MTVQA应运而生，旨在填补现有评测基准在多语种视觉文本领域的空白。

关键观点2: MTVQA的特点

MTVQA涵盖了9种语言，包括阿拉伯语、韩语、日语等广泛使用的语言；收集整理了自然场景和文档场景下的多语种富文本图片；问答对经过人类专家的精心标注，以确保视觉文本与问题及答案之间的高度一致性。

关键观点3: MTVQA的测试结果显示

无论是开源模型还是闭源模型，多语种文字理解能力仍有较大提升空间。拉丁类语种的表现远好于非拉丁类语种。

关键观点4: 研究者的期待

研究者期待后续多模态大模型的研究和发展更加关注多语种场景，扩大多模态大模型的应用范围，使得更多国家和地区的人们能够参与其中，共享人工智能带来的便利。

文章预览

“ 他 山 之 石 ， 可 以 攻 玉 ” ， 站 在 巨 人 的 肩 膀 才 能 看 得 更 高 ， 走 得 更 远 。 在 科 研 的 道 路 上 ， 更 需 借 助 东 风 才 能 更 快 前 行 。 为 此 ， 我 们 特 别 搜 集 整 理 了 一 些 实 用 的 代 码 链 接 ， 数 据 集 ， 软 件 ， 编 程 技 巧 等 ， 开 辟 “ 他 山 之 石 ” 专 栏 ， 助 你 乘 风 破 浪 ， 一 路 奋 勇 向 前 ， 敬 请 关 注 ！ 引言 近期多模态大模型(MLLM)在视觉文本理解领域取得了显著进展，比如开源模型InternVL 1.5、MiniCPM-Llama3-V 2.5、TextMonkey, 闭源模型GPT-4o、Claude等，甚至在某些方面展现了超越人类的能力。然而，当前的评估主要集中在英文和中文的语言环境中，对于更具挑战的多语种环境，研究还相对缺乏。在全球化的今天，多语言环境越来越多的出现在人们日常生活中，也给人工智能的发展带来了很大的挑战。MTVQA（Mu ………………………………