FAIR提出：重新思考BatchNorm中的"Batch"

文章预览

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达本文转载自：SmarterRethinking“Batch” in BatchNorm单位：FAIR（Yuxin Wu, Justin Johnson两位巨佬）论文：https://arxiv.org/abs/2105.07576这篇很有趣且很有用，激动的赶紧把文章看了一遍，不愧是FAIR，实验看的太爽了。之前对于Norm的研究主要在于改变Norm的维度，然后衍生出了BatchNorm、GroupNorm、InstanceNorm和LayerNorm等方法，但是除了BN外的其他Norm含义是确定，而BN的batch却可以有多种采样方式，本文就是为了探讨BN的batch使用不同的采样方式会有什么影响，堪称BatchNorm圣经，建议全文背诵(ps：GN也是吴育昕的作品)。本文总共4大核心实验，每个核心实验有多个子结论。01MotivationBatchNorm现在已经广泛的应用于CNN中。但是BN针对不同的 ………………………………