Stable Diffusion不同部件拆分详解

文章预览

作者：别说话-看头像 原文地址：https://zhuanlan.zhihu.com/p/719145259 看到很多文章对Stable Diffusion各种原理、详解等，但是么有看到有文章细拆里面各个子模块在做啥，怎么做的，所以就会遇到整体原理理解很透传，问到细节就卡住，这段时间细看了一下文章，对各个部分做一个拆解详解。 Stable Diffusion由多个子网络组成，包括文本编码器 、UNet和VAE三大部分。组合在一起可以看做一个接收文本输入，输出图像的模型。 整体上看是一个接收文本输入，并输出图像的模型。Stable Diffusion处理的过程如下： 输入文本，使用CLIP模型对文本进行编码，获得文本Embedding 噪声输入VAE编码器，获取潜空间生成噪声Latent 将文本Embedding和Latent输入UNet模型，预测Latent中的噪声 去除Latent中的噪声，去除噪声后的结果重新赋值为Latent 重复步骤3、4直至噪声去除干净（step=30/50/1000 ………………………………