多模态大语言模型对图表数据的理解能力评估

文章预览

虽然目前的 MLLMs 在科学图表解读方面取得了一定成果，但在处理自然图像与图表图像的数据差异时，尤其是在从图表中提取数值信息的能力上存在不足。为了克服这一挑战，研究团队通过三种策略优化了模型的图表理解能力： 一是引入原始数据值进行预训练以增强对图表数据的理解； 二是利用文本表示随机替代图像，在端到端微调过程中提升模型的语言推理到图表解析技能； 三是要求模型先解析图表数据再作答，以提高准确性。 基于这些发现，研究人员开发了 CHOPINLLM ，这是一种专为深度图表理解设计的 MLLM ，它不仅能够解析多种类型的图表，包括无标注图表，还能保持稳健的推理能力。此外，文中还建立了一个新的评估基准，用于测试 MLLMs 对不同图表类型和理解层次的掌握情况，实验结果证实了 CHOPINLLM 在图表理解方面的出色性能。 1 MLLMs在 ………………………………