ECCV2024-TAPTR：使用Transformer 作为检测来跟踪任何点

文章预览

原论文标题：TAPTR: Tracking Any Point with Transformers as Detection 论文链接：https://arxiv.org/pdf/2403.13042 核心内容 TAPTR 是一种基于 Transformer 的框架，用于跟踪视频中的任意点。该框架将点跟踪任务与目标检测/跟踪任务类比，将每个跟踪点表示为一个点查询，包含位置和内容特征。通过层层更新查询特征并进行可见性预测，以及利用自注意力机制在时间维度上交换信息，TAPTR 实现了高效且准确的点跟踪。此外，TAPTR 还引入了光流模型中的代价体积设计，并结合了简单的长期信息传递机制，进一步提升了模型性能。实验结果表明，TAPTR 在多个 TAP 数据集上取得了最先进的性能，并且具有更快的推理速度。 摘要 本文提出了一种简单而强大的框架，用于使用 Transformer 进行任意点跟踪 (TAPTR)。基于点跟踪与目标检测和跟踪具有很大相似性的观察，我们从 DETR-like 算法 ………………………………