复旦&字节提出layout-to-image新范式，支持基于布局的MM-DiT架构下可控图像生成！

文章预览

本篇分享论文CreatiLayout: Siamese Multimodal Diffusion Transformer for Creative Layout-to-Image Generation，是由复旦大学 & 字节跳动提出的layout-to-image新范式，支持基于布局的MM-DiT架构下的可控图像生成！ 效果示例 unset unset 相关链接 unset unset 论文地址: https://arxiv.org/abs/2412.03859 项目主页: https://creatilayout.github.io 项目代码: https://github.com/HuiZhang0812/CreatiLayout 项目Demo: https://huggingface.co/spaces/HuiZhang0812/CreatiLayout 数据集: https://huggingface.co/datasets/HuiZhang0812/LayoutSAM unset unset 论文介绍 unset unset unset unset 任务背景 unset unset 布局到图像生成 (Layout-to-Image, L2I) 是一种基于布局信息进行可控图像生成的技术，其中布局信息包括实体在图像中的空间位置和描述。例如，用户指定了这些实体的描述与空间位置：钢铁侠手里拿着画板，站在岩石上，画板上用手绘字体写着“CreatiLayout”，背景 ………………………………