NeurIPS 2023 || OFT: 正交微调方法

文章预览

正交微调（Orthogonal Finetuning）方法是不同于LoRA（Low-Rank Adaptation）的微调方法。核心思想是尽可能保留预训练参数的超球面能量（Hypersphere Energy, HE），从而减少语义损失。 基本信息和摘要 题目 Controlling Text-to-Image Diffusion by Orthogonal Finetuning Arxiv: https://arxiv.org/pdf/2306.07280 作者 Zeju Qiu, Weiyang Liu, Haiwen Feng, Yuxuan Xue, Yao Feng, Zhen Liu, Dan Zhang, Adrian Weller, Bernhard Schölkopf 研究单位 MPI for Intelligent Systems - Tübingen, University of Cambridge, University of Tübingen, Mila, Université de Montréal, Bosch Center for Artificial Intelligence, The Alan Turing Institute 拟解决问题和任务 任务 主题驱动生成 (Subject-driven generation) 利用少量特定主题的图像和文本提示，生成同一主题在新情境下的图像。例如，基于几张特定人物的图片和文本描述“人物在海滩上”，生成该人物在海滩的新照片。 可控生成 (Contr ………………………………