ICIP'24 | 基于语义增强的少样本检测，突破新类别偏见

文章预览

Few-shot 目标检测（ FSOD ）旨在在有限标注实例的情况下检测新颖对象，在近年取得了显著进展。然而，现有方法仍然存在偏见表示问题，特别是在极低标注情况下的新颖类别。在微调过程中，一种新颖类别可能会利用来自相似基础类别的知识来构建自己的特征分布，导致分类混淆和性能下降。为了解决这些挑战，论文提出了一种基于微调的 FSOD 框架，利用语义嵌入来实现更好的检测。在提出的方法中，将视觉特征与类名嵌入对齐，并用语义相似性分类器替换线性分类器，训练每个区域提议收敛到相应的类别嵌入。此外，引入了多模态特征融合来增强视觉-语言通信，使新颖类别可以明确地从训练有素的相似基础类别中获得支持。为了避免类别混淆，提出了一种语义感知最大间隔损失，自适应地应用于超出相似类别的间隔。因此，论文的方法允许每个 ………………………………