主要观点总结
本文介绍了ACM MM 2024录用论文《Focus, Distinguish, and Prompt: Unleashing CLIP for Efficient and Flexible Scene Text Retrieval》。该论文提出了一种名为FDP的方法，通过充分挖掘CLIP的内在潜能，实现无需感知的（OCR-free）场景文字检索。文章详细描述了研究背景、方法原理、主要实验结果、总结与相关资源等。
关键观点总结
关键观点1: 研究背景
场景文字检索旨在从图片库中搜索包含查询文本的所有图像。目前大多数方法存在检索精度与速度难以平衡的问题，以及无法处理不同形式的查询文本的问题。
关键观点2: 方法原理
FDP模型整体遵循Focus、Distinguish、Prompt的三步流程。首先通过扩大输入图像分辨率和增强场景文字信息来Focus文字区域；然后通过区分查询文本中的实词和虚词来Distinguish；最后通过语义感知的提示学习方法实现高效的场景文字检索。
关键观点3: 实验结果
通过与已有方法的性能对比实验和消融实验，验证了FDP方法的有效性和优越性。在IIIT-STR、SVT和TotalText等数据集上，FDP取得了具有竞争力的结果。此外，FDP在处理不同形式查询文本上的优势也得到了验证。
关键观点4: 总结
论文提出利用CLIP的内在潜能实现准确、高效且灵活的场景文字检索。实验结果证明了所提出模块的有效性，并表明FDP在检索精度和速度之间取得了更好的平衡。
文章预览
本文简要介绍 ACM MM 2024 录用论文“ Focus,
Distinguish, and Prompt: Unleashing CLIP for Efficient and Flexible Scene Text
Retrieval ”。该论文提出了一个名为“ Focus, Distinguish, and Prompt (FDP) ”的方法，通过充分挖掘 CLIP 的内在潜能来实现无需感知的（ OCR-free ）场景文字检索。具体而言，针对 CLIP 直接用于场景文字检索时存在的文字感知尺度有限和视觉语义概念纠缠两方面问题，提出首先通过转移注意力和探寻隐含知识模块使模型聚焦于场景文字，然后将查询文本分类成实词和虚词分别进行处理，并设计扰动查询辅助模块抵抗形近单词的干扰，最后通过语义感知的提示方法完成图像的排序和检索。由于免去了复杂的场景文字检测和识别过程， FDP 在保证检索精度的条件下能够显著提高检索速度，并在词组级别检索和属性感知检索设置下展现出突出的优势。 一、研究背景
………………………………
