如何使用“LoRa”的方式加载ONNX模型：StableDiffusion相关模型 的C++推理

文章预览

如何使用“LoRa”的方式加载Onnx模型：StableDiffusion相关模型的C++推理 本文主要干了以下几个事： 1.基于 onnxruntime，将 StableDiffusionInpaintPipeline、StableDiffusionControlNetImg2ImgPipeline(stablediffusion + controlnet + LoRa) C++工程化； 2.输出一个 C++版本的 ddim-schduler 库； 3.提供一种“LoRa”的 onnx 模型加载方式； 4.所有相关代码、模型开源 项目地址: https://github.com/TalkUHulk/ai.deploy.box 模型地址: https://huggingface.co/TalkUHulk/AiDB StableDiffusionInpaint 模型导出 StableDiffusionInpaint 的 onnx 导出非常简单，optimum 已经做好了集成，支持命令行直接导出，具体参考可参考optimum-cli： optimum-cli export onnx —task stable-diffusion  —model stable-diffusion-inpainting stable-diffusion-inpainting-onnx 这样得到了四个 onnx 模型（unet、 vae encoder、decoder 和 text encoder）。 tokenizer 与检测、分类等传统 cv 方法不同，我们如 ………………………………