上海AI Lab推出DocGenome：科学文档结构化表征和内容理解

文章预览

近日，上海人工智能实验室（上海AI Lab）联合上海交通大学、浙江大学、复旦大学推出首个面向多模态结构化文档理解任务的大规模基准数据集DocGenome，通过结构化表征和模拟科学文档理解需求，为自动化理解和研究多模态科学文档提供支撑。 科学文档不仅是研究成果的记录，也是人类知识的重要载体，其中蕴含着宝贵的数据资源。提取这些文献中的多模态数据对于训练和评估多模态大模型处理科学文档任务的能力至关重要。多模态结构化文档理解数据集DocGenome进一步拓宽了多模态文档理解的任务形式和应用场景，结合以往工作的文档信息检索，上海AI实验室从多个任务维度和结构化表征角度对多模态文档理解进行探索，以多方位提升多模态大模型对科学文档的理解能力。该数据集包含来自于153个学科的50万篇科学文档， 并首次引入了6种文档组成 ………………………………