NeurIPS 2024 Oral | 大力出奇迹，UC伯克利等单位提出扩散模型Adapters自动检索组合框架Stylus

文章预览

在当前生成式AI（AIGC）的发展中， 微调适配器（Fine-tuned Adapters）已成为一种标准方法，允许用户以一种较低的存储和计算成本的方式来个性化定制图像 。随着计算机视觉和人工智能开源社区的迅猛发展， 社区中存在的高效适配器数量已经超过10万个，主要以低秩适配（Low-Rank Adaptation, LoRA）为主 ，但它们大多都专属于某一些独特的领域，很难做到通用和泛化。为了进一步提高适配器的性能， 本文介绍一篇刚刚发表在NeurIPS 2024上的研究论文，本文提出了一种名为Stylus的适配器组合框架，它可以根据用户提示的关键字来有效地选择和自动组合特定于任务的适配器 。这使得模型能够快速适应到具备用户偏好的下游目标域中，从而实现更好的生成效果。 论文题目：  Stylus: Automatic Adapter Selection for Diffusion Models 论文链接： https://openreview.net/forum?id=3Odq2tGSpp ………………………………