CustomCrafter：具有保留动作和概念合成功能的定制视频生成框架！

文章预览

腾讯联合浙大提出了一种定制化视频生成框架-CustomCrafter，它能够基于文本提示和参考图像生成自定义视频，同时保留运动生成和概念组合的能力。 通过设计一系列灵活的模块，使得模型实现了无需额外视频，通过少量图像学习，就能生成高质量的个性化视频。 上图为 CustomCrafter 可视化结果。CustomCrafter允许自定义主体身份和运动模式 通过保留运动生成和概念组合能力来生成带有文本提示的所需视频。 相关链接 论文地址：http://arxiv.org/abs/2408.13239v1 项目主页：https://customcrafter.github.io/ 论文阅读 CustomCrafter：具有保留动作和概念合成功能的定制视频生成 摘要 定制视频生成旨在通过文本提示和主体参考图像生成高质量的视频。然而，由于它只在静态图像上进行训练，主体学习的微调过程会破坏视频扩散模型 (VDM) 组合概念和生成运动的能力。为了恢复 ………………………………