后Sora时代，CV从业者如何选择模型？卷积还是ViT，监督学习还是CLIP范式

主要观点总结

本文介绍了如何衡量和选择视觉模型。指出ImageNet准确率虽为评估模型性能的主要指标，但已不足以完全评估现代计算机视觉模型的性能。研究者通过比较ConvNeXt和Vision Transformer等模型，发现不同模型具有独特优势，这些优势无法通过单一指标捕捉。强调了需要更详细的评估指标来选择特定情境下的模型，并创建与ImageNet无关的新基准。文章还详细分析了模型错误、形状 / 纹理偏差、模型校准、稳健性和可迁移性、合成数据表现、变换不变性等方面，以帮助读者更好地理解和选择视觉模型。

关键观点总结

关键观点1: 模型选择的挑战

单一指标无法全面评估现代计算机视觉模型的性能，需要更详细的评估指标来准确选择特定情境下的模型。

关键观点2: 模型对比分析

研究者通过比较ConvNeXt和Vision Transformer等模型，发现不同模型在预测误差类型、泛化能力、习得表征的不变性、校准等方面存在显著差异。

关键观点3: 模型特性分析

文章详细分析了模型错误、形状 / 纹理偏差、模型校准、稳健性和可迁移性、合成数据表现、变换不变性等重要特性，以帮助读者理解各种模型的优缺点。

关键观点4: 结论和建议

每种模型都有独特的优势，模型的选择应取决于目标用例。开发具有不同数据分布的新基准对于评估模型在更现实的环境中至关重要。

文章预览

如何衡量一个视觉模型？又如何选择适合自己需求的视觉模型？MBZUAI和Meta的研究者给出了答案。 一直以来，ImageNet 准确率是评估模型性能的主要指标，也是它最初点燃了深度学习革命的火种。但对于今天的计算视觉领域来说，这一指标正变得越来越不「够用」。 因为计算机视觉模型已变得越来越复杂，从早期的 ConvNets 到 Vision Transformers，可用模型的种类已大幅增加。同样，训练范式也从 ImageNet 上的监督训练发展到自监督学习和像 CLIP 这样的图像 - 文本对训练。 ImageNet 并不能捕捉到不同架构、训练范式和数据所产生的细微差别。如果仅根据 ImageNet 准确率来判断，具有不同属性的模型可能看起来很相似。当模型开始过度拟合 ImageNet 的特异性并使准确率达到饱和时，这种局限性就会变得更加明显。 CLIP 就是个值得一提的例子：尽管 CLIP 的 ImageNet 准 ………………………………