SketchTrans：使用Transformer进行草图照片识别的纠缠原型学习

文章预览

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 题目：SketchTrans: Disentangled Prototype Learning With Transformer for Sketch-Photo Recognition SketchTrans：使用Transformer进行草图照片识别的纠缠原型学习 作者：Cuiqun Chen; Mang Ye; Meibin Qi; Bo Du 温馨提示   为方便读者，我们提供了本文的PDF版。公众号后台回复【 20240531 】即可下载。 源码链接：   https://github.com/ccq195/SketchTrans 摘要 在手绘制草图与照片匹配（即草图-照片识别或重新识别）中，由于草图模态的抽象性质，存在信息不对称的挑战。现有的工作倾向于通过丢弃照片图像的外观线索或引入生成对抗网络（GAN）进行草图-照片合成，来学习共享嵌入空间的CNN模型。前者不可避免地损失了可判别性，而后者则包含了无法抹去的生成噪声。在本文中，我们首次尝试设计一种通过跨模态解 ………………………………