字节开源Hybrid SD，端云协同推理实现文生图端侧部署

文章预览

©PaperWeekly 原创 · 作者 |   刘松伟 单位 |  字节跳动 研究方向 |  大模型推理、模型优化 Hybrid SD 是面向扩散模型（Stable Diffusion Models, SDMs）的端云协同混合推理工作，主要解决 SDMs 推理中存在的效果与成本的挑战：1）大模型在语义理解方面具备强大能力，但是计算开销大，难以在端侧部署；2）轻量化的小模型可以部署在端侧，但是效果较大模型有较大差距。 论文标题： Hybrid SD: Edge-Cloud Collaborative Inference for Stable Diffusion Models 文章地址： https://arxiv.org/pdf/2408.06646 针对这两个挑战，在推理框架层面，我们推出 Hybrid SD 端云协同混合推理框架，巧妙地融合了大型模型的强大语义理解能力与小型模型的高效重建优势，实现了效果与成本的权衡。在端侧模型层面，我们通过模型优化产出了可以端侧部署的轻量化 U-Net 和 VAE， 有效降低端侧设备的模型尺寸 ………………………………