CVPR2024 best paper | 动态图像生成

文章预览

论文题目 Generative Image Dynamics 摘要 我们提出了一种基于场景运动的图像空间先验建模方法。我们的先验是从真实视频序列中提取的运动轨迹集合中学习的，这些运动轨迹描绘了树木、花朵、蜡烛和在风中摇摆的衣服等物体的自然振荡动力学。我们将傅里叶域中密集的长期运动建模为光谱体积，我们发现这非常适合用扩散模型进行预测。给定单个图像，我们训练的模型使用频率协调扩散采样过程来预测光谱体积，可以将其转换为跨越整个视频的运动纹理。与基于图像的渲染模块一起，预测的运动表示可用于许多下游应用，例如将静止图像转换为无缝循环视频，或允许用户与真实图像中的对象交互，产生逼真的模拟动态(通过将光谱体积解释为图像空间模态基)。 1. 介绍 自然世界总是在运动中，即使看似静止的场景也包含着由于风、水流、呼吸或其他 ………………………………