LVCD：微信开发的基于参考图像的线条视频着色扩散模型

文章预览

LVCD: Reference-based Lineart Video Colorization with Diffusion Models 介绍： https://luckyhzt.github.io/lvcd 论文： https://arxiv.org/abs/2409.12960 LVCD（Lineart Video Colorization with Diffusion Models）是一种创新的线条视频着色方法 ，它 利用扩散模型从参考图像生成具有时间连续性的彩色动画视频 ，由来自香港城市大学和微信的研究人员联合开发。 研究团队通过结合 Sketch-guided ControlNet 和参考注意力机制，实现了对动画中快速和复杂运动场景的精准着色，解决了以往方法在处理大动作时容易出现的时间连贯性差和颜色误差累积的问题。此外，研究还引入了一种新的序列采样方案，包括重叠混合模块和前参考注意力，使得模型能够超越固定长度限制，生成更长、更连贯的动画视频。 该研究的特点在于其对视频生成任务中时间维度的重视，以及对动画视频着色流程的革新。通过大规模 ………………………………