免训练加速DiT！Meta提出自适应缓存新方法，视频生成快2.6倍

文章预览

一水 发自 凹非寺 量子位 | 公众号 QbitAI 现在，视频生成模型无需训练即可加速了？！ Meta提出了一种 新方法AdaCache ，能够加速DiT模型，而且是无需额外训练的那种 （即插即用） 。 话不多说，先来感受一波加速feel （最右） ： 可以看到，与其他方法相比，AdaCache生成的视频质量几乎无异，而生成速度却提升了 2.61倍 。 据了解，AdaCache灵感源于 “并非所有视频都同等重要” 。 啥意思？？原来团队发现： 有些视频在达到合理质量时所需的去噪步骤比其他视频少 因此，团队在加速DiT时主打一个 “按需分配，动态调整” ，分别提出 基于内容的缓存调度 和运动正则化（MoReg）来控制缓存及计算分配。 目前这项技术已在GitHub开源，单个A100（80G）GPU 上就能运行，网友们直呼： 看起来速度提升了2~4倍，Meta让开源AI再次伟大！ “并非所有视频都同等重要” ………………………………