专栏名称: AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
今天看啥  ›  专栏  ›  AIGC Studio

超越AnimateAnyone, 华科&中科大&阿里提出Unimate,可根据单张图片和姿势指导生成视频。

AIGC Studio  · 公众号  ·  · 2024-06-30 08:08
    

文章预览

阿里新发布的UniAnimate,与 AnimateAnyone 非常相似,它可以根据单张图片和姿势指导生成视频。项目核心技术是统一视频扩散模型,通过将参考图像和估计视频内容嵌入到共享特征空间,实现外观和动作的同步。 相关链接 项目:unianimate.github.io 论文:arxiv.org/abs/2406.01188 代码:github.com/ali-vilab/UniAnimate 论文阅读 利用统一视频扩散模型实现一致的人体图像动画 摘要 最近基于扩散的人体图像动画技术在合成完全遵循给定参考身份和所需运动姿势序列的视频方面取得了令人印象深刻的成功。 尽管如此,仍然存在两个限制: 需要额外的参考模型来将身份图像与主视频分支对齐,这显著增加了优化负担和模型参数; 生成的视频通常时间较短(例如24帧),阻碍了实际应用。 为了解决这些缺点,我们提出了一个 UniAnimate 框架来实现高效和长期的人体视频生 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览