UIUC提出InstructG2I：从多模态属性图合成图像​，结合文本和图信息生成内容更丰富有趣！

文章预览

今天给大家介绍的这项工作是伊利诺伊大学厄巴纳-香槟分校的研究者们提出的一个新任务 Graph 2Image，其特点是通过调节图信息来合成图像，并引入了一种名为InstructG2I的新型图调节扩散模型来解决这个问题。 在INSTRUCTG2I的工作中，研究者们开发了一种新方法来生成图像， 这种方法不仅依赖于文本描述，还考虑到图中其他相关信息 。 想象一下， 如果你要画一幅画，除了有一个简单的描述，比如“雪中的房子”，你还可以参考与这个房子相关的其他房子或景物的信息。 INSTRUCTG2I首先会 找出与目标图像最相关的邻居图像 ，这些图像是通过一种叫做 个性化页面排名 的技术来选择的。 接着，它会使用一种特殊的模型（Graph-QFormer）来理解这些 邻居图像与目标图像之间的关系 ，然后把这些信息与文本描述结合起来，最终生成一幅新图像。 这样，生成的 ………………………………