扩散模型微调:DreamBooth(CVPR2023)

文章预览

相比于loRa，DreamBooth是微调所有模型的参数，两个方法让微调生效1）使用稀有的tocken让模型学习新的子类 2） class-specific prior preservation lo ss， 主要思想就是 训练之前 ，先用模型 a dog  大类 生成很多的样本，训练的时候 和 微调的小类一起训练，然后共享参数，分别监督新类的重建损失，和原始生成样本的一致性损失，这个方法 很像 持续学习 中的重放 技术 ，也是克服 灾难性以往的有效方法，其实这个扩散模型微调也可以理解成持续学习，最主要的问题就是灾难性遗忘 论文题目 DreamBooth: Fine Tuning Text-to-Image Diffusion Models  for Subject-Driven Generation 1、简介 只需要3-5张图片，就可以生成各种形态和场景的图片，并且能够有很好的保真度，作者认为这种方式非常的梦幻，所以取名 DreamBooth 在这项工作中，提出了一种“个性化”文本到图像扩散模型的新方 ………………………………