EventCLIP：面向事件的物体识别的CLIP适配方法

文章预览

摘要 近期零样本和少样本分类的进展很大程度上依赖于预训练视觉语言模型（VLMs）如CLIP的成功。 由于缺乏大规模数据集，针对事件相机数据的此类模型训练仍然不可行。 因此，跨模态地将现有VLMs应用于事件视觉是一个重要的研究挑战。 在这项工作中，我们介绍了EventCLIP，这是一种利用CLIP进行零样本和少样本基于事件的物体识别的新方法。 我们首先通过将原始事件转换为基于二维网格的表示来将CLIP的图像编码器泛化到事件数据。 为进一步提高性能，我们提出了一种特征适配器，用于聚合事件帧中的时间信息并细化文本嵌入，以更好地与视觉输入对齐。 我们在N-Caltech、N-Cars和N-ImageNet数据集上评估了EventCLIP，取得了最先进的少样本性能。 当在整个数据集上微调时，我们的方法优于所有现有的事件分类器。 此外，我们探索了EventCLIP的实际 ………………………………