mPLUG-DocOwl 1.5：无需 OCR 原生理解解析各种结构文档

文章预览

阿里巴巴与人大联合推出的 mPLUG-DocOwl 1.5 模型，革新文档处理，实现无需 OCR 的文档理解。该模型直接理解文档、网页、表格和图表，特别擅长解析复杂商业报告和网页截图。它可以理解文档结构和文档内容，可以将表格和图表转换Markdown格式输出，并能够基于文档内容进行问答，能力表现强劲。 mPLUG-DocOwl 1.5 的核心优势在于其结构信息理解能力。它通过结构感知解析和多粒度文本定位任务，跨文档、网页、表格、图表和自然图像五大领域，实现高效文档理解。创新的 H-Reducer 模块有效编码结构信息，保持布局同时减少视觉特征长度，提升高分辨率图像处理效率。 在性能上，mPLUG-DocOwl 1.5 在10 项基准测试中领先，提升超过 7个百分点。其应用场景广泛，从文档解析到问答系统，前景广阔。 基于大模型的非OCR文档处理方案越来越多，开源的 mPLUG-DocOwl 1. ………………………………