Image-Textualization：自动化构建更准确，细腻的图像描述框架

文章预览

在当今的多模态大模型的发展中，模型的性能和训练数据的质量关系十分紧密，可以说是“数据赋予了模型的绝大多数能力”。 在这其中，图像-文本数据集发挥着至关重要的作用，在图像理解、文本生成和图像检索等多个领域发挥着关键作用。 然而，现有的图像描述数据集主要来源于网络抓取和人工标注，存在着质量参差不齐、细节缺失、描述噪音多等问题。尽管人类可以为图像提供详细的描述，但高昂的标注成本限制了其规模和可行性。因此，迫切需要一种高效、可扩展的方法来生成准确且详细的图像描述。 Image-Textualization（IT），该框架 通过整合多模态大语言模型（MLLMs）和多种视觉专家模型的协作，将图片信息进行文本化 ，最后利用拥有强大的推理能力的纯文本大语言模型将这些 文本化的信息转化为高质量的图像描述 。 论文题目： Image ………………………………