GCL学术成果：SIGGRAPH Asia 2024-基于多模态生成式先验的人像视频编辑

文章预览

点击蓝字，关注我们 USTC-GCL 【论文标题】Portrait Video Editing Empowered by Multimodal Generative Priors 【作者】高玄，肖海尧，钟承来，胡诗敏，郭玉东，张举勇 【单位】中国科学技术大学 【背景与问题】 人像视频编辑在电影、艺术和增强现实/虚拟现实等领域具有广泛的应用。如何确保被编辑视频的结构相似性和时间一致性，同时实现高质量、多模态的编辑效果，一直是备受关注的重要问题。 2D人像编辑已经被广泛研究。早期的工作主要采用GAN进行人像编辑或者人像动画生成，然而，这类工作受到GAN模型表示能力的限制，生成的人像质量往往不高。最近，降噪扩散模型在图片生成能力上展示了优于GAN的性能。然而，直接将这些图片生成工作用于视频编辑，往往很难保持帧间的时间一致性。为了进一步提升所编辑视频的连续性，一些工作尝试在时间维度上连 ………………………………