卷积的尽头不是Transformer，极简架构潜力无限

文章预览

卷积的尽头不是Transformer，极简架构潜力无限 —— VanillaNet: the Power of Minimalism 6层的VanillaNet可以超过ResNet-34，13层的VanillaNet在ImageNet达到83%的top1精度，超过几百层网络的性能，并展现了非凡的硬件效率优势。顺道一提，VanillaNet的中文名字为 朴素网络 。 论文见： https://arxiv.org/abs/2305.12972 。          * 6层的VanillaNet结构图，没有Shortcut 致敬LeNet、AlexNet和VGGNet 在过去几年时间，一直都在找关于神经网络架构创新的灵感。在视觉Backbone这个方向上，端侧我们有了GhostNet这种轻量的模型架构和系列算法。 但是面对现在大算力，还没有什么特别好的思路，虽然在Vision Transformer的路上跟着大家也一起做了一点工作，但一直想利用最简单的卷积网络，尝试做出更强的效率和性能，在实际应用中也可以有更大的价值。 从2015年底到现在，基于shortcut的ResNet系列， ………………………………