NeurIPS 2024 | 基于视觉-语言预训练模型的提示词微调理论分析框架

文章预览

简介 本文介绍了上海科技大学 YesAI Lab 在 NeurIPS 2024 发表的工作——《Federated Learning from Vision-Language Foundation Models: Theoretical Analysis and Method》。 该研究针对大型视觉-语言模型（如 CLIP）在联邦学习（FL）场景中的提示词微调，构建了理论分析框架。 通过引入 特征动力学理论 ，研究者设计了一个理论分析框架，并提出了 PromptFolio（提示词组合 ）机制 ，一个在联邦场景中平衡全局与个性化提示词的新方法。 PromptFolio 通过融合本地和全局提示词，既保留了任务相关特征又抑制了任务无关特征。 通过严格的理论分析与实验验证，该研究展示了该方法在实际场景中的高效性。 该工作上海科技大学 2023 级博士生潘比康为第一作者，由石野教授和黄伟博士指导完成。 论文标题： Federated Learning from Vision-Language Foundation Models: Theoretical Analysis and Method 论文地址 ………………………………