【NeurIPS2024】通过分解编码和条件控制增强文本到视频生成中的运动效果

文章预览

来源：专知 本文 约1000字 ，建议阅读 5 分钟 我们提出了一种新颖的框架，称为 分解运动（DEMO） ，该框架通过将文本编码和条件控制分解为内容和运动组件来增强T2V生成中的运动合成。 尽管文本到视频（T2V）生成技术已经取得了进展，制作具有真实运动的视频仍然具有挑战性。当前模型通常产生静态或动态变化极少的输出，未能捕捉文本中描述的复杂运动。这个问题源于文本编码中的内部偏差，这些偏差忽视了运动，并且T2V生成模型的条件机制不足。为了解决这个问题，我们提出了一种新颖的框架，称为 分解运动（DEMO） ，该框架通过将文本编码和条件控制分解为内容和运动组件来增强T2V生成中的运动合成。我们的方法包括一个用于静态元素的内容编码器和一个用于时间动态的运动编码器，以及单独的内容和运动条件控制机制。关键是，我们引 ………………………………