“实时文生视频”算法惊艳亮相 | 帧率高达22FPS，速度狂飙10倍+，而精度保持不变！

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区！ “   近期，Sora和其它基于DiT的视频生成模型引起了大家的广泛关注。然而，与图像生成相比，很少有研究关注于加速基于DiT的视频生成模型的推理过程。此外，生成单个视频的推理成本可能很大，通常需要数十分钟甚至数小时的GPU推理才能输出。因此，加速视频生成模型的推理已成为更广泛的GenAI应用的当务之急。 本文介绍了金字塔注意力广播（PAB）算法， 这是第一种基于DiT的实时视频生成方法。通过减少冗余注意力计算，PAB以10.6倍的加速比实现了高达21.6 FPS的帧率，而它并不会牺牲流行的基于DiT的视频生成模型的质量，包括Open Sora、Open Sora Plan和Latte。 ” 项目主页 - https://oahzxl.github.io/PAB/ 代码链接 - https://github.com/NUS-HPC-AI-Lab/OpenDiT 01-文生视频算法发展历程 2024年1月，Haoxin Chen, Yong Zhang等人 ………………………………