开发者新闻 |通过文本实现实时图像编辑的快速反演

文章预览

  通过文本实现实时图像编辑的快速反演     文本到图像的扩散模型可以根据用户提供的文本提示生成多样化、高保真的图像。这些模型的操作方法是：通过一系列降噪步骤，在用户提供的文本提示符的条件下，从高维空间映射随机样本 z_{T}。这将导致相应图像 z_{0} 的表示。 这些模型还可用于更复杂的任务，例如图像编辑、学习描绘个性化概念或语义数据增强。在这种情况下，图像编辑是指根据文本提示对给定图像进行局部更改的任务，而图像的其他部分保持不变。 所有这些附加任务都涉及一个名为 inversion 的过程：给定图像表征 z_{0}及其相应的文本提示 p，您会寻找噪声种子 z_{T}，当输入降噪过程时，该种子会生成重建的图像 z_{0}。 最近提出了 Regularized Newton-Raphson Inversion (RNRI)，这是一种新的反演技术。RNRI 在快速收敛与出色的准确性、执行时 ………………………………