像俄罗斯方块一样生成视频！ 北大联合快手AI团队推出新框架VideoTetris实现跟随复杂指令的文生视频！

文章预览

关注 「 AIWalker 」 并 星标 从此AI不迷路 作者：Ye Tian、 Ling Yang等     解读： AI生成未来                    Paper: https://arxiv.org/abs/2406.04277 Code: https://github.com/YangLing0818/VideoTetris Project: https://videotetris.github.io/ 扩散模型在文本到视频（T2V）生成方面取得了巨大成功，视频生成模型正以飞快的速度发展。 然而，现有的文生视频模型在应对 复杂、细节丰富、多物体的指令 时，仍存在一定的挑战。 为了生成更精确的复杂视频，北京大学与快手AI团队推出了 VideoTetris ，定义了复杂组合指令生成任务，并提出了一个新的框架，实现复杂视频生成。这个框架不仅能够直接增强现有模型的组合生成，还能够支持涵盖多复杂指令、多场景变更等更高难度的长视频生成。 具体而言，提出了时空合成扩散，通过在空间和时间上操纵和合成去噪网络的注意力图来 ………………………………