深度学习中有哪些形式简单却很巧妙的idea？

文章预览

点击上方“ 计算机视觉工坊 ”，选择“星标” 干货第一时间送达 内容来自知乎，「计算机视觉工坊」整理，如有侵权请联系删除 https://www.zhihu.com/question/347847220 作者： 黄哲威 hzwer 算力碾压 1.1 改大 batchsize，假装迭代次数对齐 1.2 多训 epoch，但是不明说，把训练长度换成以迭代次数报告，反之亦然，反正不能让人一眼看出来不对齐 1.3 epoch 数不变，但是一个样本用好几回，从而偷偷多过数据 1.4 把模型里下采样次数减小，模型计算量大了好几倍，但是只和别人比参数量 1.5 不在意计算量和参数量的领域狂堆算力 1.6 把算力很大的组件描述一笔带过，效率分析也只分析其它组件 1.7 用重参数化把模型搞的很大，训练很慢但是反正比推理开销 1.8 EMA / 多模型融合涨点，有条件还能自蒸馏 1.9 选个超级小的训练集，这样只要专心解决过拟合 超参数 2.1 通过 ………………………………