CVPR 2024｜仅用合成数据训练模型到底行不行？有新发现！

文章预览

↑ 点击 蓝字  关注极市平台 作者丨VincentLee 来源丨晓飞的算法工程笔记 编辑丨极市平台 极市导读   在许多鲁棒性指标（校准、背景偏差、形状偏差等）方面，使用合成数据训练的自监督和多模态模型的表现与其在真实图像上训练的模型相当。   >> 加入极市CV技术交流群，走在计算机视觉的最前沿 首个针对使用合成数据训练的模型在不同稳健性指标上进行详细分析的研究，展示了如 SynCLIP 和 SynCLR 等合成克隆模型，其性能在可接受的范围内接近于在真实图像上训练的对应模型。这一结论适用于所有稳健性指标，除了常见的图像损坏和 OOD （域外分布）检测。另一方面，监督模型 SynViT-B 在除形状偏差外的所有指标上均被真实图像对应模型超越，这清楚地表明了对更好监督合成克隆的需求。通过详细的消融实验，作者发现使用描述或 CLIP 模板可以产 ………………………………