内容AI: 目标驱动的图像生成

文章预览

现有的文生图技术已经较为成 熟， Flux 、 SD 3.5  和  Midjounery  等最 先进文生图模型已经可以生成足够“以假乱真”的图像。在淘系内部，现有文生图模型已经被应用于各种需要创意图像的业务,例如 AI 会场等。但是，文生图技术的缺陷在于 文本作为控制条件的指导性仍然较弱 --例如我们无法仅利用文本生成一个带有“GitHub”样式的包包的营销图（见图1）。 图1. 现有文生图模型与本文方案效果展示 然而，这一能力在淘系有着极为广泛和重要的应用场景和需求--想象对于任意一件商品，如果可以生成该商品在不同场景下的高质量图像， 那么这对于to B 和 to C 侧的内容生产和投放，都具有非常大的应用前景，值得我们投入资源进行探索 落地。 研究现状 基于参考图像生成目前主要有两种范式，一种是利用  inpainting 技术 实现特定商品的重绘，一种是 ………………………………