CVPR 2024 | 如何通过“扩散模型”让视频清晰度稳定提升

文章预览

近年来，扩散模型（diffusion models）的发展促进了图像，超分辨率算法的进步。通过算法将低分辨率图像，转换为高分辨率图像的技术有了显著的提升。这是基于已有的“二维图像扩散模型的技术方案”来进行转化的。即：利用低分辨率图像中的特征，作为图像去噪的控制信号，从而完成高分辨率图像生成。然而，这种基于扩散模型的算法只能根据输入的图像生成内容大致相似的高分辨率图像。但在动态视频的超分辨率处理上在挑战，直接应用于视频超分辨率时，无法进一步控制 高分辨率视频帧的细节保真度 ，也无法 控制生成视频帧之间的连续性 ，从而使生成的结果不够真实且连贯。 基于这样的问题，我们提出 利用扩散模型中的空间适应模块，学习高分辨率视频帧和与之对应的低分辨率视频特征的空间适应性，促使生成的高分辨率视频细节丰富 ………………………………