计图开源：一致角色生成框架Photomaker和StoryDiffusion

文章预览

NK-JittorCV 最新开源了 NK-Diffusion 仓库 ，用于支持计图框架( Jittor[3]) 在 AIGC 领域的应用。目前，南开大学媒体计算实验室被图灵奖得主 Yann Lecun 教授点赞的一致角色生成最新工作 PhotoMaker[1] 和 StoryDiffusion[2] 现已基于计图框架在 GitHub 开源，进一步丰富了计图框架在 AIGC 领域的生态， GitHub 仓库链接： https://github.com/Nankai-JittorCV/nk-diffusion 本文将对这两个工作相关内容进行简要介绍。 Part 1 问题和背景 一致角色生成基于扩散模型(Diffusion Model)生成具有一致性和连贯性的角色图像和视频，对生成式模型的发展具有重要意义。 如图1所示， 给定几张输入的身份识别(ID)图像，PhotoMaker能够基于文本提示在一次前向传递中生成多样化的个性化ID图像。 图1 一致角色生成示例 角色的一致性根据不同的任务需求而体现于保证生成的角色在人脸、衣着和姿态等方面的一 ………………………………