专栏名称: AI产品汇
本公众号的主体内容包含以下4个部分: 1)AI算法说-帮你梳理各种各样的AI算法; 2)模型部署说-帮你剖析各种各种的模型部署与优化工具; 3)AI产品说-帮你剖析市面上形形色色的AI产品; 4)AI热点说-帮我推荐热门的AI话题。
今天看啥  ›  专栏  ›  AI产品汇

{长视频生成}重大变革 | 全球首个“分布式文生视频”框架,速度提升100倍+,长度大幅提升!

AI产品汇  · 公众号  ·  · 2024-06-27 07:30

文章预览

打造一个有温度、有趣味、专业的全栈式AI 交流社区! “ 随着Sora的出现,文生视频成为了今年的热门话题。后续又相继出现了Open Sora、Lumma AI等文生视频算法。 然而,制作较长视频的主要挑战包括大量内存需求和单个GPU所需的延长处理时间。 一个简单的解决方案是在多个GPU之间分配工作负载,然而,这会导致两个问题: 1)确保所有GPU有效通信从而能够共享时间和上下文信息 ; 2)修改现有的视频扩散模型(通常在短序列上训练),从而在 没有额外训练的情况下创建更长的视频。 为了解决这些问题, 作者提出了Video Infinity,这是一种分布式推理算法,它可以跨多个GPU进行并行处理,从而生成长视频。具体来说,作者提出了两种连贯的机制:剪辑并行和双范围注意力。 这两种机制结合在一起,可以很好的分配工作量,实现长视频的快速生成。在8 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览