论文精读-Qwen-VL

文章预览

论文精读-Qwen-VL 作者：jewellery 原文地址：https://zhuanlan.zhihu.com/p/21189484196 背景 Qwen-VL是一组大规模视觉语言模型（LVLMs）用来感知和理解文本和图片。从Qwen-LM为基础，并通过以下设计赋予其视觉能力：i)视觉感受器，ii)输入输出接口，iii)三阶段训练，iv)多语言多模态语料。除了传统的图片描述和问答能力，也通过对齐图片caption-box元组实现grounding和文本阅读能力。由此产出的模型包括Qwen-VL和Qwen-VL-Chat. 在各个视觉文本相关基准中均优于其他类似规模的VL模型。 Qwen-VL能力SoTA 动机 大语言模型（LLMs）因其强大的文本理解和生成能力受到广泛关注，更进一步通过微调可以对齐到人类的意图作为智能体使用，然而现实世界中还有很多其他模态无法通过LLMs进行理解，因此涌现一批大规模视觉语言模型（LVLMs），尽管已经进行了大量工作来探索 LVLM 的局限性和 ………………………………