多光谱互补特征融合 | DPDETR在目标检测领域的突破性进展 ！

主要观点总结

本文介绍了DPDETR模型，一种用于解决红外可见目标检测中模态错位问题的新方法。模型通过解耦和优化目标在红外和可见模式中的位置和对应关系，实现了稳健的目标检测。通过Query解耦结构，模型有效地融合了多光谱互补特征，并解决了不同模态之间的优化差异。模型还采用了位置解耦多光谱交叉注意力模块，实现了对错位特征的准确自适应融合，并受到可见和红外参考位置的约束。解耦位置对比去噪训练进一步增强了模型的解耦学习能力。实验结果表明，与其他最先进的方法相比，模型在无人机车辆检测和行人检测上取得了显著的改进。

关键观点总结

关键观点1: 解决模态错位问题

通过解耦和优化目标在红外和可见模式中的位置和对应关系，实现了稳健的目标检测。

关键观点2: Query解耦结构

通过解耦结构，模型有效地融合了多光谱互补特征，并解决了不同模态之间的优化差异。

关键观点3: 位置解耦多光谱交叉注意力模块

实现了对错位特征的准确自适应融合，并受到可见和红外参考位置的约束。

关键观点4: 解耦位置对比去噪训练

增强了模型的解耦学习能力，提高了模型的检测性能。

关键观点5: 实验结果

在无人机车辆检测和行人检测上的实验结果表明，与其他最先进的方法相比，模型取得了显著的改进。

文章预览

红外可见目标检测旨在通过利用红外图像和可见图像对互补信息来实现稳健的目标检测。然而，现有的模式错位问题提出了两个挑战：将错位互补特征融合在一起是有困难的，现有方法在错位条件下无法准确地定位两种模式中的物体。 在本论文中，作者提出了一种解耦位置检测 Transformer （DPDETR）来解决这些问题。 具体来说，作者明确地定义了物体类别、可见模式位置和红外模式位置，使网络能够学习这两种模式之间的内在关系并输出两种模式中物体的准确位置。为了准确地融合错位物体特征，作者提出了一种解耦位置多光谱交叉注意力模块，可自适应地采样和聚合多光谱互补特征，同时受到红外和可见参考位置的限制。 此外，作者设计了一种 Query 解耦多光谱解码器结构来解决作者任务中三种物体信息优化之间的差距，并提出了一种解耦位置对 ………………………………