ECCV 2024 | GKGNet：多标签分类遇上图卷积网络ViG

文章预览

多标签分类是一个具有挑战性的任务，旨在预测单个图像中的多个对象标签，同时建模标签与图像区域之间的复杂关系。尽管卷积神经网络CNN和视觉转换器Transformer在将图像处理为规则的像素块网格（patch）方面取得了成功，但这些表示对于捕捉不规则和不连续的兴趣区域来说并不理想。 在这项工作中，我们提出了 第一个完全图卷积模型 ，基于分组K近邻的图卷积网络（Group K-Nearest Neighbor based Graph Convolutional Network for Multi-Label Image Recognition, GKGNet），该模型在灵活且统一的图结构中，同时建模语义标签嵌入与图像块之间的连接。为了应对不同对象的尺度差异并从多个角度捕捉信息，我们提出了用于动态图构建和信息传递的Group KGCN模块。我们的实验表明， GKGNet在具有挑战性的多标签数据集（即MS-COCO和VOC2007数据集）上，以显著较低的计算成本实现了最 ………………………………