深度学习刷SOTA有哪些骚气的trick？

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 链接： https://www.zhihu.com/question/540433389 编辑：深度学习与计算机视觉 声明：仅做学术分享，侵删 作者：Gordon Lee https://www.zhihu.com/question/540433389/answer/2549775065 1.R-Drop：两次前向+KL loss约束 2. MLM: 在领域语料上用mlm进一步预训练 (Post-training) 3. EFL: 少样本下，把分类问题转为匹配问题，把输入构造为NSP任务形式. 4. 混合精度fp16: 加快训练速度，提高训练精度 5. 多卡ddp训练的时候，用到梯度累积时，可以使用no_sync减少不必要的梯度同步，加快速度 6. 对于验证集或者测试集特别大的情况，可以尝试多卡inference，需要用的就是dist.all_gather，对于非张量的话也可以用all_gather_object 7. PET: 少样本下，把分类转为mask位置预测，并构造verbalizer，参考EACL2021. PET 8. ArcFaceLoss：双塔句子匹 ………………………………