首篇《人类视频生成》全面综述：挑战、方法和见解

文章预览

人类视频生成是一个动态且迅速发展的任务，旨在通过生成模型在文本、音频和姿态等控制条件下合成2D人体视频序列 。由于在电影、游戏和虚拟通信中的广泛应用潜力，生成自然且逼真的人类视频能力至关重要。生成模型的最新进展为这一领域日益增长的兴趣奠定了坚实的基础。尽管取得了显著进步，人类视频生成任务仍因角色的一致性、人类运动的复杂性以及其与环境关系的困难而具有挑战性。 本综述提供了对当前人类视频生成状态的全面回顾，据我们所知，这是该领域的首次广泛文献综述 。我们首先介绍了人类视频生成的基础知识以及促进该领域发展的生成模型演变。然后，我们分析了在人类视频生成中的三个关键子任务：文本驱动、音频驱动和姿态驱动运动生成所采用的主要方法。这些领域的探讨基于指导生成过程的条件。此外，我们 ………………………………