模型优化调参总结，让你模型精度更上一层楼

文章预览

以下 文 章来源于微信公众号： GiantPandaCV 作者： FlyEgle 链接：https://mp.weixin.qq.com/s/EKoXcfMQyv9Egq0DWiMJwg 本文仅用于学术分享，如有侵权，请联系 后 台作删文处理 导读 本文主要探究哪些模型trick和数据的方法，可以大幅度让你的模型性能更上一层楼，结合自身经验讲解一些辅助训练的手段和技术。 一、Tricks 本文主要分一下几个方向来进行讲解 权重平均 蒸馏 分辨率 1.1 权重平均 由于深度学习训练往往不能找到全局最优解，大部分的时间都是在局部最优来回的晃动，我们所取得到的权重很可能是局部最优的最差的那一个，所以一个解决的办法就是把这几个局部最优解拿过来，做一个均值操作，再让网络加载这个权重进行预测，那么有了这个思想，就衍生了如下的权重平均的方法。 1. EMA 指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted M ………………………………