专栏名称: 魔搭ModelScope社区
阿里巴巴达摩院模型开源社区ModelScope官方账号
今天看啥  ›  专栏  ›  魔搭ModelScope社区

消费级显卡,17G显存,玩转图像生成模型FLUX.1!

魔搭ModelScope社区  · 公众号  ·  · 2024-08-02 20:38

文章预览

01 引言 近期stable diffusion的部分核心开发同学,推出了全新的 图像生成模型 FLUX.1 。 从模型架构上看, FLUX.1 和SD3有很多相似之处,都是基于FlowingMatching调度的模型,都通过引入T5来增强prompt的依从性。而比较显著的区别在于:flux模型引入了一种叫DoubleStreamBlock的结构,具体来说在前几层layer中,采用了txt和img embedding独立过各自的transformer块,然后再拼到一起过统一的transformer块,我们推测是为了进一步对齐图像和文本特征,但是这部分还没有更具体的技术报告。 FLUX.1 在文本控制能力,多主体生成能力,手部生成能力等取得了很好的效果。 FLUX.1 提供三种型号: 模型版本 模型链接 License FLUX.1 [schnell] https://modelscope.cn/models/AI-ModelScope/FLUX.1-schnell apache-2.0 FLUX.1 [dev] https://modelscope.cn/models/AI-ModelScope/FLUX.1-dev FLUX.1-dev Non-Commercial License FLUX.1 [pro] 仅可通过API访 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览