主要观点总结
上海人工智能实验室联合多个高校团队发布了首个大规模多模态结构化科学文献基准数据集DocGenome，旨在训练和测试多模态大语言模型，并挖掘科学文献对AI系统的价值。该数据集通过自动标注arXiv上的科学文档，具有完整性、逻辑性、多样性和正确性的四个关键特征。相关论文已发表在arXiv上。数据集解决了以往研究中数据稀缺和标注成本过高的问题，并开发了一种自动化科学文档结构化标注工具DocParser。DocGenome实现了多种复杂模态的标注，包括图表、方程式等，并构建了区域间的二元逻辑关系。该数据集有望为自动化多模态科学文档理解和AI科学问题发现等研究和应用提供重要支撑。
关键观点总结
关键观点1: DocGenome数据集的发布
这是首个大规模多模态结构化科学文献基准数据集，旨在训练和测试多模态大语言模型。
关键观点2: 数据集的标注特点
数据集具有完整性、逻辑性、多样性和正确性的关键特征，并使用了自定义的自动标注管道进行标注。
关键观点3: 解决数据稀缺和标注成本过高的问题
课题组开发了一种自动化科学文档结构化标注工具DocParser，自动标注了50万篇arXiv科学文献，节省了约400万至500万元的人工标注成本。
关键观点4: DocGenome数据集的应用价值
数据集支持多种复杂模态的标注，包括图表、方程式等，有助于自动化多模态科学文档理解和AI科学问题发现等研究。该数据集有助于将科研人员从繁重的阅读文献任务中解脱出来，提高创作效率。
文章预览
近期，上海人工智能实验室联合上海交通大学、浙江大学、复旦大学团队，发布了首个大规模多模态结构化科学文献基准数据集 DocGenome。 该数据集旨在训练和测试多模态大语言模型，并充分挖掘科学文献对于 AI 系统的价值。 与此同时，结构化的科学文献记录了研究成果和人类知识，构成了高质量数据的庞大语料库，为自动化多模态科学文档理解与 AI 科学问题发现等研究和应用提供了重要的支撑。 图丨DocGenome 特点介绍（来源： arXiv ） 该数据集通过自动标注预印本网站 arXiv 开放获取社区的 50 万篇科学文档，使用自定义的自动标注管道，具有完整性、逻辑性、多样性和正确性的四个关键特征。 日前，相关论文以《DocGenome：一个用于训练和测试多模态大语言模型的大规模科学文档基准数据集》（ DocGenome: An Open Large-scale Scientific Document Benchmark for Tr
………………………………
