文章预览
保持参数高效的同时提升提示调整（Prompt Tunning， PT）的性能。 基本信息和摘要 论文题目 Prompt Tuning Strikes Back: Customizing Foundation Models with Low-Rank Prompt Adaptation Arxiv: https://arxiv.org/pdf/2405.15282 作者及研究单位 Abhinav Jain, Rice University Swarat Chaudhuri, UT Austin Thomas Reps, University of Wisconsin-Madison Chris Jermaine, Rice University 解决问题 提示调整 （Prompt Tuning, PT）是一种简单且参数效率高的参数高效微调（PEFT）方法，它通过在输入层添加特定任务的前缀向量来实现个性化。然而，提示调整在性能上通常不如其他PEFT方法，如LoRA。 本文提出了LOPA方法，旨在 解决 PT 相对于 LoRA的性能差异 ，它在 保持参数效率 的同时，通过实例感知的提示调整来提高性能。 摘要 本文提出了一种名为Low-Rank Prompt Adaptation (LOPA)的新方法，旨在通过 低秩提示调整 来定制基础模型（Foundation Model
………………………………
