207-A1.4｜多模态引导现实世界人脸修复，虚拟试衣伪影问题的条件修复；调查文生图模型中的概念关联，逐步越狱攻击与内容安全问题

文章预览

AIGC   Research 主编｜ 庄才林（Cailin Zhuang） 技术支持｜胡耀淇（Yaoqi Hu） Topic: Image Generation｜Face Restoration, VTON Inpainting Overcoming False Illusions in Real-World Face Restoration with Multi-Modal Guided Diffusion Model 2024-10-05｜XDU, USYD, SJTU ｜⭐️ http://arxiv.org/abs/2410.04161v1 概述 本研究提出了一种新颖的 多模态引导现实世界人脸修复 技术（MGFR），旨在从低质量（LQ）输入中重建高分辨率、高质量的人脸图像。MGFR结合了属性文本提示、高质量参考图像和身份信息，旨在减少生成过程中常见的虚假面部属性和身份的产生。通过引入双控制适配器和两阶段的训练策略，MGFR有效利用多模态先验信息，进行目标特定的修复任务。此外，研究还构建了Reface-HQ数据集，该数据集包含超过23,000张高分辨率人脸图像，涵盖5,000个身份，以满足参考面部训练图像的需求。MGFR在严重退化条件下恢 ………………………………