PipeFusion：如何用PCIe互联GPU 低成本并行推理扩散模型

文章预览

作者丨方佳瑞 来源丨https://zhuanlan.zhihu.com/p/699612077 编辑丨GiantPandaCV 今年二月Sora横空出世，我们正在跑步进入视频生成时代。同时，Sora巨大的部署难题也引爆了长序列的DiT推理方法研究热潮。面对这个问题，我的团队最近在这这方面做了一个非常有趣的工作叫PipeFusion，它可以显著降低DiT模型并行推理的带宽需求，能在PCIe互联的GPU上更有性价比地部署 DiT并行推理。希望它也可以为更大规模并行推理提供了一个新的思路。 论文地址如下，实验代码也开源了： https://arxiv.org/abs/2405.14430 这个工作的缘起是几个月前听一次采访贾扬清老师Podcast，他提到最近和MIT和韩松，Medusa作者Tianle Cai一起中了一篇CVPR，里面设计了一个并行扩散模型推理的方法。我立刻去拜读了一下，读完之后大受启发，觉得扩散模型有一些独特的性质，可以在System方面加以利用。因此 ………………………………