PipeFusion：如何用PCIe互联GPU 低成本并行推理扩散模型

文章预览

↑ 点击 蓝字  关注极市平台 作者丨方佳瑞@知乎（已授权） 来源丨https://zhuanlan.zhihu.com/p/699612077 编辑丨极市平台 极市导读   显著降低DiT模型并行推理的带宽需求，能在PCIe互联的GPU上更有性价比地部署 DiT并行推理。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 今年二月Sora横空出世，我们正在跑步进入视频生成时代。同时，Sora巨大的部署难题也引爆了长序列的DiT推理方法研究热潮。面对这个问题，我的团队最近在这这方面做了一个非常有趣的工作叫PipeFusion，它可以显著降低DiT模型并行推理的带宽需求，能在PCIe互联的GPU上更有性价比地部署 DiT并行推理。希望它也可以为更大规模并行推理提供了一个新的思路。 论文地址如下，实验代码也开源了： https://arxiv.org/abs/2405.14430 这个工作的缘起是几个月前听一次采访贾扬清老师Podcast，他提到最 ………………………………