一口气看8页！图文并茂的文档交互式多模态大模型-Fox

文章预览

↑ 点击 蓝字  关注极市平台 作者丨刘成龙 编辑丨极市平台 极市导读   最近，旷视打造了一支多模态大模型的“点读笔”-Fox，轻松实现对8页文档（中英混合，单栏多栏格式混合的极端场景）的交互式感知理解。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 最近，旷视打造了一支多模态大模型的“点读笔”-Fox，轻松实现对8页文档（中英混合，单栏多栏格式混合的极端场景）的交互式感知理解。 对于信息密集的PDF文档，Fox支持 高可控性的细粒度理解 ，比如在 用户感兴趣区域内 进行文字识别、段落翻译以及页面内部的图片内容描述等。 “一图胜千言”—— one image token >> one text token。本文中，我们进一步突破了对于文档的视觉感知理解的上限，高密度的信息被真正压缩，LVLM真正地“看”懂图，才能真正做好、做出能用的文档多模大模型 ………………………………