优于MuseV！！腾讯开源MimicMotion：视频扩散架构的置信度感知 - 姿势引导的高质量人体视频驱动生成

文章预览

点击下方 卡片 ，关注“ AICV与前沿 ” 文章地址：https://arxiv.org/abs/2406.19680 项目地址：https://github.com/tencent/MimicMotion 01 导言 视频生成在可控性、视频长度、细节丰富性等方面仍面临相当大的挑战，阻碍了该技术的应用和普及。 本文提出了一个可控的视频生成框架，称为MimicMotion，它可以生成任意长度的高质量视频，模拟特定的运动指导。与以前的方法相比， MimicMotion 方法有几个亮点： 首先，引入置信度感知姿态制导，保证高帧质量和时间平滑性。 其次，引入基于位姿置信度的区域损失放大，显著降低了图像失真。 最后，为了生成流畅的长视频，提出了一种渐进的潜在融合策略。通过这种方式，可以在可接受的资源消耗下制作任意长度的视频。 通过广泛的实验和用户研究，MimicMotion在各个方面都比以前的方法有了显著的改进。 贡献 通过采用confid ………………………………