TPAMI2024.9 | 如何优化大模型的灾难性遗忘

文章预览

论文标题：Create Your World: Lifelong Text-to-Image Diffusion 下载链接：https://arxiv.org/abs/2309.04430 这篇论文提出了一种新的终身学习模型，旨在解决文本到图像生成领域的“灾难性遗忘”和“语义忽视”问题。现有的文本到图像生成模型可以通过预训练大规模数据集生成高质量的图像，但它们在遇到用户输入的新概念时，往往会遗忘之前学到的知识，无法灵活应对新任务。 为了应对这一挑战，作者提出了一个终身学习的文本到图像扩散模型（ ），该模型能够在持续学习新概念的同时，保留和整合过去的知识。 框架通过引入任务感知记忆增强模块和弹性概念蒸馏模块，避免了在学习新任务时对旧知识的遗忘。此外，作者设计了概念注意艺术家模块和正交注意模块，用于解决生成过程中语义和属性忽视的问题，从而确保生成图像时能够忠实反映多个用户输入的 ………………………………