深度学习提升SOTA的tricks大盘点

文章预览

以下 文 章来源于微信公众号：极市平台 作者： 极市平台 链接：https://mp.weixin.qq.com/s/0LAmVZ_mdn7rNxPmhiGzfQ 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 深度学习算法的落地都需要尽可能的提升模型效果，这往往需要trick进行支撑。这些trick有的能够提升网络精度，有的能够加速收敛。本文总结了三位知乎答主的优质回答，分享了他们所收藏积累的一些高效tricks。 #  回答一 作者： 李国趸 浙江大学硕士生 来源链接：https://www.zhihu.com/question/540433389/answer/2549775065 抛砖引玉(卑微求一个秋招内推求私信)： R-Drop：两次前向+KL loss约束 MLM: 在领域语料上用mlm进一步预训练 (Post-training) EFL: 少样本下，把分类问题转为匹配问题，把输入构造为NSP任务形式. 混合精度fp16: 加快训练速度，提高训练精度 多卡ddp训练的时候，用到梯度累积时，可以使用no ………………………………