文章预览
腾讯开源了一个非常全面的视频控制方式 MOFA-Video。支持通过箭头控制视频内容的运动方向,类似运动笔刷。还支持将原有视频的面部表情迁移到新生成的人脸视频上。上面两种控制方式也可以同时在一个画面中使用。 相关链接 代码地址:https://github.com/MyNiuuu/MOFA-Video 论文地址:https://arxiv.org/abs/2405.20222 试用链接:https://huggingface.co/MyNiuuu/MOFA-Video-Hybrid 论文阅读 MOFA-Video:通过生成运动场适应冻结图像到视频扩散模型的可控图像动画 摘要 我们提出了 MOFA-Video,这是一种先进的可控图像动画方法,它使用各种额外的可控信号(例如人体地标参考、手动轨迹,甚至提供的另一个视频)或它们的组合从给定的图像生成视频。这与以前的方法不同,以前的方法只能在特定的运动域上工作,或者在扩散之前表现出较弱的控制能力。 为了实现我们的目标,我们设
………………………………