Meta开源的AI试衣模型Leffa

文章预览

项目简介 Leffa 是一个用于可控人物图像生成的统一框架，可以精确操纵外观（即虚拟试穿）和姿势（即姿势转移）。 可控人物图像生成旨在生成以参考图像为条件的人物图像，从而可以精确控制人物的外观或姿势。然而，现有方法尽管实现了较高的整体图像质量，但通常会扭曲参考图像的细粒度纹理细节。我们将这些扭曲归因于对参考图像中相应区域的关注不够。为了解决这个问题，我们提出了注意力学习流场（Leffa），它明确引导目标查询在训练期间注意注意力层中的正确参考键。具体来说，它是通过基于扩散的基线内的注意力图之上的正则化损失来实现的。我们的大量实验表明，Leffa 在控制外观（虚拟试穿）和姿势（姿势转移）方面实现了最先进的性能，显着减少了细粒度细节失真，同时保持了高图像质量。此外，我们表明我们的损失与模型 ………………………………