个性化图像生成新SOTA！阿里开源MIP-Adapter，可将IP-Adapter推广到多个参考图像！

文章预览

今天给大家介绍阿里最近开源的个性化图像生成的新方法MIP-Adapter，将无需微调的预训练模型（IP-Adapter）推广到同时合并多个参考图像。MIP-Adapter会根据每个参考图像与目标对象的相关性来给这些图像分配不同的“重要性分数”。这样，在生成图像时，系统能更好地理解每个对象应该如何表现，从而生成更高质量的图像。 值得注意的是，该模型只需在 8 个 GPU 上进行5 小时的训练，就可以在多对象个性化图像生成方面实现最先进的性能。 左图展示了解耦交叉注意机制下的目标混淆问题，右图展示了使用我们的方法正确生成的问题。 亮点直击 作者将无需微调的个性化图像生成方法的解耦交叉注意机制扩展到合并多种条件，并提出了一种加权合并方法来解决对象混淆问题。 文章从开源 SA-1B 数据集中构建了一个小而高质量的数据集用于模型训练，并提 ………………………………