Prompt—从CLIP到CoOp，Visual-Language Model新范式

公众号关注 “ML_NLP”设为 “星标”，重磅干货，第一时间送达！转载自 | Smarter最近NLP领域提出了Prompt新范式，企图革新原先的Fine-tuning方法，而在CV领域中，Prompt其实可以理解为图像label的设计，从这个角度看，Prompt(预测文本中mask的字符，类似完形填空)其实是介于Image caption(迭代预测出每一个字符)和one-hot label(one-hot可以认为是prompt的特例，单字符通过text encoder成one-hot)之间的任务。最近在Visual-Language Model(缩写VLM)任务中，prompt开始展现出强大的能力。本文首先介绍一下prompt和fine-tuning范式本质上有什么区别，然后介绍一下NLP中基于prompt的PET和AutoPrompt方法，最后介绍一下VLM任务中应用prompt范式的CLIP和CoOp方法。另外，CLIP和CoOp都是基于prompt的判别式VLM方法，最近还有几篇 ………………………………