港大和字节提出长视频生成模型Loong，可生成一分钟具有一致外观、动态和场景过渡的视频。

文章预览

HKU, ByteDance｜⭐️ 港大和字节联合提出长视频生成模型Loong，该模型可以生成外观一致、运动动态大、场景过渡自然的分钟级长视频。选择以统一的顺序对文本标记和视频标记进行建模，并使用渐进式短到长训练方案和损失重新加权来克服长视频训练的挑战。 此外，Loong还会特别关注视频前几帧，以确保它们的质量不会被后面的帧所掩盖。最后，在生成视频时，Loong会不断调整和优化，以确保生成的视频既有趣又流畅。 相关链接 论文地址：http://arxiv.org/abs/2410.02757v1 项目主页：https://epiphqny.github.io/Loong-video/ 论文阅读 摘要 生成几分钟内内容丰富的长视频是人们所期望的，但同时也是一项挑战。自回归大型语言模型 (LLM) 在自然语言处理领域生成连贯且较长的标记序列方面取得了巨大成功，而自回归 LLM 在视频生成方面的探索仅限于生成几秒钟的短 ………………………………