你有哪些deep learning（rnn、cnn）调参的经验？

文章预览

转自 | 人工智能前沿讲习 No.1 总结一下在旷视实习两年来的炼丹经验，我主要做了一些 RL，图像质量，图像分类，GAN 相关的任务，日常大概占用 5 - 10 张卡。 可复现性和一致性 有的同学在打比赛的时候，从头到尾只维护若干份丹方（代码），每次载入前一次的训练参数，调一下丹方再炼，俗称 老丹 。这样会有几个问题：某次引入一个 bug，过了很久才发现，然后不知道影响范围；炼出一个金丹，但是不知道它是怎么来的；忘了自己的 baseline，不知道改动是正面还是负面。 要尽可能确保每一个丹有可复现性，实践上建议丹方不应该在炼丹后改动，炼新的丹时，把旧的丹方复制一遍。得到的实验结果要开个文档记下来以便日后总结，避免遗忘。我经常通过阅读自己和别 ………………………………