重参数化的ControlNet | RepControlNet：媲美甚至超越ControlNet等使用额外参数的方法

文章预览

前言   本 文提出了一种模态重参数化方法RepControlNet，在不增加计算量的情况下实现扩散模型的可控生成。 Pytorch训练营，花两个星期彻底掌握代码实现 CV各大方向专栏与各个部署框架最全教程整理 CV全栈指导班、基础入门班、论文指导班 全面上线!! 01 | 导言 动机 ：可控生成(ControlNet)是扩散模型研究的重点方向之一，但是其存在参数量大，推理耗时重等问题。因此，其中推理加速和模型压缩的相关研究更为重要。 解决 ： 具体来说， （1） 在训练过程中，RepControlNet使用适配器将模态信息调制到特征空间中，将原始扩散模型的CNN和MLP可学习层复制为模态网络，并基于原始权值和系数初始化这些权值 。训练过程只优化模态网络的参数。 （2）在推理过程中，对模态网络中中和原始扩散模型的权值进行了重新参数化，在不增加参数数量的情况下，可以 ………………………………