ECCV'24 | DataDream：调一调更好，基于LoRA微调SD的训练集合成新方案

文章预览

尽管文本到图像的扩散模型已被证明在图像合成方面达到了最先进的结果，但它们尚未证明在下游应用中的有效性。先前的研究提出了在有限的真实数据访问下为图像分类器训练生成数据的方法。然而，这些方法在生成内部分布图像或描绘细粒度特征方面存在困难，从而阻碍了在合成数据集上训练的分类模型的泛化能力。论文提出了 DataDream ，一个合成分类数据集的框架，在少量目标类别示例的指导下，更真实地表示真实数据分布。 DataDream 在生成训练数据之前，对图像生成模型的 LoRA 权重进行微调，使用少量真实图像。然后，使用合成数据微调 CLIP 的 LoRA 权重，以在各种数据集上改善下游图像分类性能，超越先前的方法。 通过大量实验展示了 DataDream 的有效性，在 10 个数据集中的 7 个数据集上，以少量示例数据超越了最先进的分类准确率，同时 ………………………………