残差神经网络究竟在干啥？

点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达本文转自：深度学习与计算机视觉本文作者重新审视了ResNet之所以工作的原因，得出结论: ResNet 本质上就干了一件事：降低数据中信息的冗余度。最近在总结完成语义分割任务的轻量级神经网络时，看到了 MobileNet V2 中对于 ReLU 层的思考，于是我也回过头重新审视 ResNet 之所以 work 的本质原因。以下是一些个人的见解，如有错误，还望及时指正。在谈及 ResNet 之前，我们先聊聊故事的背景。我们知道，在神经网络中，非线性激活层可以为模型引入了非线性，让模型具有更强的拟合能力。如果只是单纯的线性操作层的叠加，则完全可以等价为一个线性层，这就浪费了深度神经网络的一身好本领。所 ………………………………