专栏名称: 将门创投
将门是一家专注于发掘及加速技术创新激活商业价值的创业公司的创投机构。将门旗下设有将门创新服务、将门技术社群以及将门投资基金。关注领域包括机器智能、物联网、自然人机交互、企业计算。
今天看啥  ›  专栏  ›  将门创投

LoRA再进化,基于风格内容解耦的B-LoRA框架实现高效图像风格化编辑

将门创投  · 公众号  · 科技创业  · 2024-06-23 22:02
AIGC领域中的一项重要子任务就是对图像进行风格化处理,一般涉及到对图像视觉外观和纹理进行编辑(被视为是风格信息),同时保留其底层对象、结构和概念不变(被视为是内容信息)。为了达到这种编辑效果,就需要实现对图像中风格和内容进行分离。现有的方法通常需要训练专门的分离模型或者需要进行大量的优化,使用成本较高。本文介绍一篇全新的图像风格化工作,本文作者巧妙的将LoRA(低秩适应)机制引入到图像编辑领域,提出了一种称为B-LoRA的框架,该框架可以隐式分离单个图像中的风格和内容组件,同时继承了LoRA的各种优势,包括轻量化训练和即插即用等功能。此外,作者通过深度分析现有流行扩散模型(Stable Diffusion XL,SDXL)的内部架构,发现仅需要联合设置两个B-LoRA块即可以实现图像内容和风格的分离,从而显著的提升各 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照