无限批扩展可能么？达摩院Inf-CL打破对比学习显存瓶颈，提效100倍！

文章预览

↑ 点击 蓝字  关注极市平台 作者丨PaperWeekly 来源丨PaperWeekly 编辑丨极市平台 极市导读   该方案突破了领域内 “Contrastive loss 由于显存限制不能放大 batch size” 的“共识”，实现了 对比损失的 batch size 近乎无限的扩展 。 >> 加入极市CV技术交流群，走在计算机视觉的最前沿 达摩院研究员提出了一种对比损失（Contrastive Loss）的高效实现方式（ Inf-CL ），通过分块计算策略，在单台 A800 机器上就能把 batch size 扩展到 400 万。该方案突破了领域内 “Contrastive loss 由于显存限制不能放大 batch size” 的“共识”，实现了 对比损失的 batch size 近乎无限的扩展 。 论文标题： Breaking the Memory Barrier: Near Infinite Batch Size Scaling for Contrastive Loss 论文链接： https://arxiv.org/pdf/2410.17243 代码链接： https://github.com/DAMO-NLP-SG/Inf-CLIP 先看显著结果： ▲ 图1：Inf-CL 与现有方法（CL ………………………………