字节发布图像编辑模型SeedEdit，真正的P图自由！

主要观点总结

本文主要介绍了字节的豆包团队发布的新模型SeedEdit，它是一个图像编辑模型，能够通过输入一张图片和修图的文本指令来生成编辑后的图像。文章提到了SeedEdit的效果相较于之前的方法有了显著提升，并且介绍了模型架构和训练方法。最后，文章也强调了该任务的前景和潜在应用。

关键观点总结

关键观点1: SeedEdit模型的特点和效果

SeedEdit是一个图像编辑模型，可以根据输入的图像和文本指令生成编辑后的图像。相较于之前的方法，SeedEdit的效果有了显著提升，可以实现各种各样的图像编辑，如局部属性编辑、背景改变、风格改变等。

关键观点2: SeedEdit的模型架构和训练方法

SeedEdit的模型架构采用了ReferenceNet的方案，通过self-attention来连接输入图像和去噪图像的特征。训练方面，字节通过合成数据的方法来创建大规模的成对数据集，并采用多轮迭代的训练策略来优化模型。

关键观点3: SeedEdit的应用前景

基于指令的图像编辑任务前景广阔，一旦做好，可以广泛应用于各种图+文来生成图的任务。SeedEdit已经在字节的即梦产品上线，用户可以在即梦上进行测试体验。

文章预览

⇧ 点 蓝色 字关注 “AI小小将” 刚刚，字节的豆包团队发布了一个新的模型 SeedEdit 。SeedEdit是一个 图像编辑模型 ，它可以输入一张图片，同时给出修图的文本指令，就可以生成一张编辑后的图像。其实，指令修图这个东西在Stable Diffusion发布不久就有人开始做了，比如Sora的作者Tim Brooks在22年底的工作 InstructPix2Pix 就可以实现基于文本指令的图像编辑。不过之前的大部分工作我觉得效果都不够好，这次字节发布的SeedEdit算是效果上了一个台阶。下面是官方给的示例视频和一些示例图，可以看到SeedEdit可以实现各种各样的图像编辑，比如局部属性编辑，背景改变，以及风格改变等等，而且效果看起来都不错。 SeedEdit并没有开源，HuggingFace上提供了在线体验链接： https://huggingface.co/spaces/ByteDance/SeedEdit-APP 但是这个目前排队比较久： 不过好在 SeedEdit已经在 ………………………………