复旦&字节提出CreatiLayout：基于布局进行可控生成的大规模数据集与新SOTA！

文章预览

关注公众号，发现CV技术之美 本篇分享论文 CreatiLayout: Siamese Multimodal Diffusion Transformer for Creative Layout-to-Image Generation ，是由复旦大学 & 字节跳动提出的layout-to-image新范式，支持基于布局的MM-DiT架构下的可控图像生成！ 论文地址: https://arxiv.org/abs/2412.03859 项目主页: https://creatilayout.github.io 项目代码: https://github.com/HuiZhang0812/CreatiLayout 项目Demo: https://huggingface.co/spaces/HuiZhang0812/CreatiLayout 数据集: https://huggingface.co/datasets/HuiZhang0812/LayoutSAM 任务背景 布局到图像生成 (Layout-to-Image, L2I) 是一种基于布局信息进行可控图像生成的技术，其中布局信息包括实体在图像中的空间位置和描述。例如，用户指定了这些实体的描述与空间位置：钢铁侠手里拿着画板，站在岩石上，画板上用手绘字体写着“CreatiLayout”，背景是海边与日落。Layout-to-Image则能根据这些信息，生成 ………………………………