Magic 1-For-1：一分钟内生成一分钟视频片段

文章预览

摘要 本技术报告介绍了 Magic 1-For-1 (Magic141)，这是一种高效的视频生成模型，具有优化的内存消耗和推理延迟。  其核心思想很简单：将文本到视频的生成任务分解为两个更简单的子任务，用于扩散步骤蒸馏，即文本到图像生成和图像到视频生成。  我们验证了在使用相同的优化算法的情况下，图像到视频任务确实比文本到视频任务更容易收敛。  我们还探索了一系列优化技巧，以从三个方面降低图像到视频 (I2V) 模型训练的计算成本：1) 使用多模态先验条件注入来加快模型收敛速度；2) 应用对抗性步骤蒸馏来加快推理延迟；3) 使用参数稀疏化来优化推理内存成本。  借助这些技术，我们能够在3秒内生成5秒的视频剪辑。   通过应用测试时间滑动窗口，我们能够在一分钟内生成一个长时间的视频，并具有显着改善的视觉质量和运动动态，平均生成1秒 ………………………………