RepControlNet：一种新的扩散模型推理加速技术 ！

文章预览

关注“ FightingCV ”公众号 回复“ AI ”即可获得超100G人工智能的 教程 点击进入→   FightingCV交流群 随着扩散模型的广泛应用，推理资源的高昂成本成为其普适应用的重要瓶颈。可控制生成，例如ControlNet，是扩散模型研究的关键方向之一，与推理加速和模型压缩相关的研究更是重要且迫切。 为了解决这个问题，本文提出了一种模态重参化方法RepControlNet，可以在不增加计算的情况下实现扩散模型的可控制生成。 在训练过程中，RepControlNet使用 Adapter 将模态信息调制到特征空间，将原扩散模型的卷积和MLP可学习层作为模态网络进行复制，并根据原始权重和系数初始化这些权重。训练过程只优化模态网络的参数。 在推理过程中，模态网络中原扩散模型的权重进行重参化，这可以与或甚至超越使用额外参数和计算量的方法，如ControlNet，在增加参数数量的 ………………………………