专栏名称: AI算法与图像处理
考研逆袭985,非科班跨行AI,目前从事计算机视觉的工业和商业相关应用的工作。分享最新最前沿的科技,共同分享宝贵的资源资料,这里有机器学习,计算机视觉,Python等技术实战分享,也有考研,转行IT经验交流心得
今天看啥  ›  专栏  ›  AI算法与图像处理

消费级显卡,17G显存,玩转图像生成模型FLUX.1!

AI算法与图像处理  · 公众号  ·  · 2024-08-06 21:38

文章预览

01 引言 近期stable diffusion的部分核心开发同学,推出了全新的 图像生成模型 FLUX.1 。 从模型架构上看, FLUX.1 和SD3有很多相似之处,都是基于FlowingMatching调度的模型,都通过引入T5来增强prompt的依从性。而比较显著的区别在于:flux模型引入了一种叫DoubleStreamBlock的结构,具体来说在前几层layer中,采用了txt和img embedding独立过各自的transformer块,然后再拼到一起过统一的transformer块,我们推测是为了进一步对齐图像和文本特征,但是这部分还没有更具体的技术报告。 FLUX.1 在文本控制能力,多主体生成能力,手部生成能力等取得了很好的效果。 FLUX.1 提供三种型号: 模型版本 模型链接 License FLUX.1 [schnell] https://modelscope.cn/models/AI-ModelScope/FLUX.1-schnell apache-2.0 FLUX.1 [dev] https://modelscope.cn/models/AI-ModelScope/FLUX.1-dev FLUX.1-dev Non-Commercial License FLUX.1 [pro] 仅可通过API访 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览