MUMU：用文本、图像引导，多模态图像生成模型

文章预览

专注AIGC领域的专业社区，关注微软 、百度文心一言、讯飞星火等大语言模型（LLM）的发展和 应用 落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 传统的文生图模型仅使用文本提示有时无法完美还原用户的提示词，例如，生成一个穿着红色披风的超级英雄在城市中飞翔的图像，传统的文本到图像生成模型可能会根据文本描述生成一个大致符合要求的图像，但可能无法准确呈现出用户想要的超级英雄的具体形象或披风的颜色和样式。 为了提升图片的生成准确度，Sutter Hill的研究人员开发了可基于文本和图像引导的多模态图像生成模型MUMU。用户不仅可以使用文本提示，还能使用要生成目标图像的参考图，进一步提升生成准确率。 论文地址：https://arxiv.org/abs/2406.18790 MUMU 的架构是基于 SDXL 的预训练卷积 UNet，通过替换 SDXL 的辅助CLIP 文本编码器 ………………………………