港中文开源轻量级可控模块：ControlNeXt支持主流图像&视频生成架构，可与LoRA无缝集成！

文章预览

当前的可控生成方法如ControlNet、Adapaters和ReferenceNet等通常需要大量额外的计算资源，尤其是对于视频生成，并且在训练中面临挑战或表现出较弱的控制力。 对此，港中文提出了一种轻量级可控模块：ControlNeXt，这是一种强大而有效的可控图像和视频生成方法。它被设计成一个更直接、更高效的架构，与基础模型相比，以最小的额外成本替换了繁重的额外分支。ControlNeXt方法还可以与其他 LoRA 权重无缝集成，从而无需额外训练即可实现风格转换。 ControlNeXt可以针对各种基础模型如SD1.5，SDXL，SD3，SVD和任务如具有各种条件的图像/视频生成。 亮点直击 文本介绍了ControlNeXt，这是一种强大而有效的图像和视频生成方法，可显著减少延迟开销和参数。 引入了交叉归一化来微调预训练大模型，促进高效稳定的训练收敛。 ControlNeXt可以用作轻量级即插即用模块 ………………………………