CVPR 2024丨基于文本可控的图生视频扩散模型

文章预览

近期视频生成模型 Sora 与 Dream Machine 的火爆，相信你已跃跃欲试，想要生成自己的视频。本文介绍一个开源免费的个性化视频生成模型—PIA（Personalized Image Animator），还有在线应用等你来体验！ 论文： https://arxiv.org/abs/2312.13964 代码：（文末点击阅读原文可直达，欢迎 star） https://github.com/open-mmlab/PIA 网站: https://pi-animator.github.io/ 在线应用： https://openxlab.org.cn/apps/detail/zhangyiming/PiaPia 个性化生成技术已经能够让我们可以生成自定义的内容、风格的图像，我们进一步希望给这些生成的精美的个性化图像加上动态。然而这一目标存在两大难点，第一，生成的视频难以还原用户输入图像的细节；第二，生成的视频无法按照用户需要用文本提示词精确控制。 针对这两大难点，PIA 应运而生，PIA 能够还原图像细节、高度响应提示词内容的视频。 方法简介 PIA（Per ………………………………