再读deformable detr，还有多少细节是你不知道的

文章预览

大家好，今天来写写基于Transformer架构的端到端检测模型：Deformable Detr。 如果你也读过Deformable Detr的论文和代码，你可能会发现相比于原生detr，它确实不好理解 。特别是这篇论文在写作时，抽象的东西太多，细节的部分较少（ 我看看谁是论文后半节各种公式的受害者 ）。而当你想从源码中一探更多细节时，你会发现除了代码本身也不太好读外，它和论文间还有些gap。 所以，本文在写作时， 基本抛弃了论文，全面从源码入手，重新来理解deformable attention： 在本文第一章节，我们会快速回顾detr的基本思想， 并讨论一个重要但鲜少被深入提及的问题：detr中的encoder和decoder到底学到了什么？ 在理解这一点的基础上，我们重新来端详deformable detr。来一步步捋顺它背后的巧思。 Deformable detr的核心之一是 deformable attention ，它借鉴了普通attention的框架，但 ………………………………