LoRA再进化，基于风格内容解耦的B-LoRA框架实现高效图像风格化编辑

文章预览

AIGC领域中的一项重要子任务就是对图像进行风格化处理， 一般涉及到对图像视觉外观和纹理进行编辑（被视为是风格信息），同时保留其底层对象、结构和概念不变（被视为是内容信息） 。为了达到这种编辑效果，就需要实现对图像中风格和内容进行分离。现有的方法通常需要训练专门的分离模型或者需要进行大量的优化，使用成本较高。 本文介绍一篇全新的图像风格化工作，本文作者巧妙的将LoRA（低秩适应）机制引入到图像编辑领域，提出了一种称为B-LoRA的框架 ，该框架可以隐式分离单个图像中的风格和内容组件， 同时继承了LoRA的各种优势，包括轻量化训练和即插即用等功能 。此外，作者通过深度分析现有流行扩散模型（Stable Diffusion XL，SDXL）的内部架构， 发现仅需要联合设置两个B-LoRA块即可以实现图像内容和风格的分离，从而显著的提 ………………………………