文章预览
腾讯和上交发布了一个根据图片生成跳舞视频的项目MimicMotion。效果同时支持面部特征和唇形同步,不止可以搞跳舞视频,也可以做数字人。 MimicMotion方案优化的内容有: 引入基于置信度的姿态引导机制。确保生成的视频在时间上更加连贯流畅。 开发了基于姿态置信度的区域损失放大技术。能够显著减少生成图像中的扭曲和变形。 提出创新的渐进式融合策略。能够在可接受的计算资源消耗下,实现任意长度视频的生成。 相关链接 代码地址:https://github.com/tencent/MimicMotion 论文地址:https://arxiv.org/abs/2406.19680 论文阅读 MimicMotion :利用置信度感知姿势引导生成高质量人体运动视频 摘要 近年来,生成式人工智能在图像生成领域取得了长足进步,催生出各种应用。然而,视频生成在可控性、视频长度、细节丰富度等各方面仍面临巨大挑战,阻碍了这项技
………………………………