可控文生图：EliGen控制实体的位置细节变化

文章预览

01 引言 为文生图模型增加额外的控制条件一直是AIGC社区研究的重点之一，如ControlNet, IP-Adapter等一直是热门可控生成方法。近期， 魔搭社区联合浙江大学 对实体级可控文生图进行了探索，并开发了EliGen模型。 EliGen可以对想要生成的图像中的每个实体的位置和细节进行控制，从而生成具有复杂场景和构图的图像。 手持化妆镜的美丽小姐姐 ‍ EliGen提出了Regional Attention的注意力机制，对扩散模型中的Attention模块进行了通用扩展。同时，基于FLUX和Qwen2-VL，团队构建了500k样本的含有实体级标注的数据集，采用LoRA对EliGen进行了训练。EliGen不仅可以完成实体级的可控文生图任务，还可以对已有图像进行实体级局部重绘。同时，EliGen与社区模型：IP-Adapter、In-Context LoRA等结合，还可以应用在给定风格和角色的实体控制、Logo迁移等场景，具有无限可能。 论文链 ………………………………