mPLUG-DocOwl2: OCR-free多页文档理解新SOTA，单页视觉token仅324！

文章预览

关注公众号，发现CV技术之美 为了进行不依赖OCR的文档图片理解，目前多模态大模型主要通过增加图片的分辨率来提升文档问答的性能。然而，不断增加的图片分辨率也导致了视觉编码的token数量显著增加，一张A4大小的文档图片在LLM端往往消耗掉上千的token数量。这不仅导致了过高的显存占用，也大大增加了首包的时间，严重限制了其在多页文档理解方面的应用。 为了平衡多页文档理解场景中的问答效果和资源消耗， 阿里巴巴通义实验室mPLUG团队 近期提出mPLUG-DocOwl2( mPLUG-DocOwl2: High-resolution Compressing for OCR-free Multi-page Document Understanding )，具备多页文字解析，多页文档问答以及多页论文结构解析等能力， 在多页文档理解benchmark上达到OCR-free的新SOTA，并且每页文档图片仅消耗324token，首包时间降低50%，单个A100-80G最多能放下60张高清文档图片。 论文链 ………………………………