专栏名称: AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
今天看啥  ›  专栏  ›  AIGC Studio

解锁视频创作的新大陆!MotionClone:一键克隆视频运动,让创意无界限,想象即现实!

AIGC Studio  · 公众号  ·  · 2024-08-13 00:00

文章预览

无需训练或微调,在提示词指定的新场景中克隆参考视频的运动,无论是全局的相机运动还是局部的肢体运动都可以一键搞定。 MotionClone 的新框架,给定任意的参考视频,能够在不进行模型训练或微调的情况下提取对应的运动信息;这种运动信息可以直接和文本提示一起指导新视频的生成,实现具有定制化运动的文本生成视频 (text2video)。 给定一个参考视频,MotionClone可以将包含的动作克隆到新的场景中,具有出色的快速跟随能力,没有特定动作的微调。 相关链接 论文:https://arxiv.org/abs/2406.05338 主页:https://bujiazi.github.io/motionclone.github.io/ 代码:https://github.com/Bujiazi/MotionClone 论文阅读 MotionClone:无训练运动克隆可控视频生成 摘要 基于运动的可控文本到视频生成涉及控制视频生成的运动。以前的方法通常需要训练模型来编码运动线索或微调视频扩散 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览