图像再生任务：基于MLLM的文本到图像模型评估新框架

文章预览

Image Regeneration: Evaluating Text-to-Image Model via Generating Identical Image with Multimodal Large Language Models 论文： https://arxiv.org/abs/2411.09449 "Image Regeneration" 是一种创新的图像再生任务，用于评估文本到图像（T2I）模型的性能。 研究者们通过让模型根据给定的参考图像生成新的图像，然后比较生成图像与参考图像的相似度，来评估模型的生成能力。这种方法突破了传统评估方法的局限，因为它直接比较图像，而不是依赖于文本和图像之间的匹配，从而更直观地反映了模型的生成效果。 该研究的特点在于引入了多模态大型语言模型（MLLM）GPT4V来帮助T2I模型理解图像内容，并通过ImageRepainter框架进行迭代生成和修订，以提高生成图像的质量。 框架包括图像理解和迭代生成两个阶段，其中图像理解阶段利用MLLM生成图像理解树（IUT），而迭代生成阶段则通过多次迭代来优 ………………………………