AI读论文新神器：多栏密集文字、中英图文混排文档都能读的多模态大模型Fox｜旷视

文章预览

Fox团队 投稿 量子位 | 公众号 QbitAI 虽然 多模态大模型都能挑西瓜了，但 理解复杂文档 方面还是差点意思。 面对 文字密集、多栏混排 等文档时往往力不从心，区域级别的细粒度理解，就更是无从谈起了。 最近，旷视团队打造了一支多模态大模型的“点读笔”—— Fox ，轻松实现对8页文档 （中英混合，单栏多栏格式混合的极端场景） 的交互式感知理解。 对于信息密集的PDF文档，Fox支持高可控性的细粒度理解，比如在用户感兴趣区域内进行文字识别、段落翻译以及页面内部的图片内容描述等。 论文中，团队进一步突破了对于文档的视觉感知理解的上限，高密度的信息被真正压缩，LVLM真正地“看”懂图，才能真正做好、做出能用的文档多模大模型。 正所谓 “一图胜千言”—— one image token >> one text token 。 接下来，看看Fox在实战中表现如何？ 中英 ………………………………