Google Deepmind提出SigLIP，用于语言图像预训练的 Sigmoid 损失

主要观点总结

本文介绍了使用 sigmoid 损失函数进行图像文本预训练的新方法，该方法优于使用 softmax 损失函数，特别是在较小的训练批次大小下。Sigmoid 损失函数不需要全局归一化，简化了分布式训练，并提高了内存效率，使得可以在较大的批次大小下训练模型。本文研究了使用 sigmoid 损失的 SigLiT 和 SigLIP 模型在不同批次大小下的表现，发现即使在百万级别的批次大小下，模型也能取得良好的性能。此外，文章还探讨了 sigmoid 损失中的偏差项、正负样本对比例以及模型对数据噪声的鲁棒性等因素对模型性能的影响。

关键观点总结

关键观点1: Sigmoid 损失函数在图像文本预训练中的优势

Sigmoid 损失函数优于 softmax 损失函数，特别是在较小的训练批次大小下。它不需要全局归一化，简化了分布式训练，并提高了内存效率。

关键观点2: Sigmoid 损失函数的内存效率

Sigmoid 损失函数允许使用更大的训练批次大小，因为它不需要像 softmax 损失函数那样进行全局归一化，从而减少了内存需求。

关键观点3: Sigmoid 损失函数的性能

在较小的训练批次大小下，Sigmoid 损失函数取得了优于 softmax 损失函数的性能。在较大的训练批次大小下，两者的性能趋于一致。

关键观点4: Sigmoid 损失函数中的偏差项和正负样本对比例

Sigmoid 损失函数中的偏差项和正负样本对比例对模型性能有影响。偏差项用于防止早期优化中的过度校正，而正负样本对比例影响模型的学习过程。

关键观点5: Sigmoid 损失函数对数据噪声的鲁棒性

Sigmoid 损失函数训练的模型对数据噪声更加鲁棒，这有助于提高模型在实际应用中的性能。

文章预览

摘要 我们提出了一种用于图像文本预训练的简单成对 sigmoid 损失。 与使用 softmax 归一化的标准对比学习不同，sigmoid 损失仅作用于图像文本对，并且不需要全局视角来查看成对相似性以进行归一化。 sigmoid 损失同时允许进一步扩大批次大小，同时在较小的批次大小下也能表现更好。 仅使用四个 TPUv4 芯片，我们就可以在   批次大小下训练 Base CLIP 模型，并在   批次大小下训练 Large LiT 模型，后者在两天内实现了   ImageNet 零样本精度。 批次大小与损失的这种解耦进一步允许我们研究示例与对以及负例与正例比率的影响。 最后，我们将批次大小推向极致，达到百万级，发现批次大小增加带来的益处迅速减少，而   的更合理的批次大小就足够了。 我们希望我们的研究能激发人们进一步探索如何提高语言图像预训练的质量和效率。 1. 简介 使用 ………………………………