迄今为止最惊艳的生成视频模型 MotionClone！开源！主体运动和相机运动都能完美克隆！

文章预览

大家好，今天和大家分享一篇关于可控视频生成的最新成果 MotionClone 给定参考视频，MotionClone 可以将视频所包含的动作克隆到新的场景中，具有出色的 prompt-following（指令遵循）能力，而无需针对特定运动进行微调。 pro mpt-followin g 更加通俗的解释，就是能够按照你编写的prompt来生成相应的反馈。 如下图所示，通过调整主体以及场景相关的prompt，而不改变运动相关prompt达到生成预期克隆的视频效果。更具体的来说，例如左上角 原本的 prompt： Wolf, turns its head, in the wild 调整后的 prompt： Duck , turns its head, under the water 将主体从 wolf （狼）变成 了 Duck （鸭子），将场景从 in the wild （在野外场景）变成了 under the water（在水里） 除了针对主体动作的克隆外，还可以对相机运动进行克隆，如下图的右侧结果所示，同样通过调整主体和场景的prompt即可生成 ………………………………