模态GAP不存在了？图文领域首个token级大一统基座诞生

文章预览

CLIP、DINO、SAM 基座的重磅问世，推动了各个领域的任务大一统，也促进了多模态大模型的蓬勃发展。 然而，这些经过图像级监督或弱语义训练的基座，并不是处理细粒度密集预测任务的最佳选择，尤其在理解包含密集文字的文档图像上。 为解决这一限制，上交联合美团实现了图文对齐粒度的新突破，其具备三大核心优势： 构建业内首个 token 级图文数据集 TokenIT： 该数据集包含 2000 万条公开图像以及 18 亿高质量的 Token-Mask 对。图像中的每个 BPE 子词均对应一个像素级掩码。数据体量是 CLIP 的 5 倍，且比 SAM 多出 7 亿数据对。 构建图文领域首个细粒度大一统基座 TokenFD： 仅需通过简单的一层语言编码，依托亿级的 BPE-Mask 对打造出细粒度基座 TokenFD。真正实现了图像 Token 与语言 Token 在同一特征空间中的共享，从而支持 Token 级的图文交互和各种下游任 ………………………………