ACL2024主会：中科院发布表格理解大模型Table-LLaVA，刷榜23项指标

文章预览

夕小瑶科技说 原创 作者 | Richard 随着人工智能的飞速发展，让AI模型像人一样直接"看懂"表格，进而完成相关任务的能力变得越来越重要。然而，以往的表格理解方法大多依赖于将表格转换为文本格式再输入模型，这不仅耗时耗力，在实际应用中获取高质量文本格式表格也并非易事。那么，AI模型能否直接通过视觉信息理解表格呢? 近日,中科院信工所的研究者们创新性地提出了"多模态表格理解"这一问题，即让AI模型直接从表格图像中获取信息，进而完成问答、推理等下游任务。他们构建了目前最大规模的多模态表格理解数据集MMTab，涵盖了丰富多样的表格图像和任务，并在此基础上开发了一个强大的多模态表格理解模型Table-LLaVA。 通过巧妙的两阶段训练，Table-LLaVA展现出了优异的多模态表格理解能力，在23个评测任务上全面超越了现有的多模态大模 ………………………………