卷积网络又双叒叕行了？OverLoCK:一种仿生的卷积神经网络视觉基础模型

文章预览

作者是香港大学俞益洲教授与博士生娄蒙。 你是否注意过人类观察世界的独特方式？ 当面对复杂场景时，我们往往先快速获得整体印象，再聚焦关键细节。 这种 「 纵观全局 - 聚焦细节（Overview-first-Look-Closely-next） 」 的双阶段认知机制是人类视觉系统强大的主要原因之一，也被称为 Top-down Attention 。 虽然这种机制在许多视觉任务中得到应用，但是如何利用这种机制来构建强大的 Vision Backbone 却尚未得到充分研究。 近期，香港大学将这种认知模式引入到了 Vision Backbone 的设计中，从而构建了一种全新的基于动态卷积的视觉基础模型，称为  OverLoCK  (Overview-first-Look-Closely-next ConvNet with Context-Mixing Dynamic Kernels)。该模型在 ImageNet、COCO、ADE20K 三个极具挑战性的数据集上展现出了强大的性能。例如，30M 的参数规模的 OverLoCK-Tiny 模型在 ImageNet-1K 达到了 84.2% ………………………………