同济提出简化 Transformer结构：在RTX3090上实现CLIP的轻量级训练 ！

文章预览

作者丨小书童 来源丨集智书童 编辑丨极市平台 导读   同济大学提出的一种简化Transformer结构的方法，通过在仅使用一块Nvidia RTX3090 GPU和一兆字节存储空间的情况下实现竞争性能。   对比语言图像预训练（CLIP）因其卓越的零样本性能和优秀的迁移能力而受到了广泛关注。然而，训练这样的大型模型通常需要大量的计算和存储，这对一般用户（拥有消费级计算机）来说是一个障碍。 为了应对这一观察，本文探讨了如何在仅使用一块Nvidia RTX3090 GPU和一兆字节存储空间的情况下实现竞争性能。 一方面，作者简化了 Transformer 块结构，并将权重继承与多阶段知识蒸馏（WIKD）相结合，从而减少了参数并提高了训练和部署期间的推理速度。另一方面，面对小数据集带来的收敛挑战，作者为每个样本生成合成字幕作为数据增强，并设计了一种新颖的配对匹配（P ………………………………