10倍速度突破质量瓶颈，效果超越Gen-2和Pika！T2V-Turbo：新一代视频生成模型

文章预览

点击下方 卡片 ，关注“ AIGC Studio ” 论文链接: https://arxiv.org/pdf/2405.18750 项目链接：https://t2v-turbo.github.io/ 基于扩散的文本到视频（T2V）模型取得了显著的成功，但仍然受到迭代采样过程速度缓慢的影响。为了解决这一挑战，一些一致性模型被提出来促进快速推理，尽管以牺牲样本质量为代价。在这项工作中， 旨在突破视频一致性模型（VCM）的质量瓶颈，实现快速且高质量的视频生成 。本文引入了 T2V-Turbo，将来自不同可微分奖励模型混合的反馈集成到预训练T2V模型的一致性蒸馏（CD）过程中 。值得注意的是，本文直接优化与单步生成相关的奖励，这些奖励自然产生于计算CD损失，有效地绕过了通过迭代采样过程反向传播梯度所施加的内存限制。值得注意的是，本文的T2V-Turbo产生的4步生成在VBench上取得了最高的总分，甚至超过了Gen-2和Pika。本文 ………………………………