【源头活水】扩散模型——拥有世界知识(World Knowledge)的扩散模型编辑方法 - EditWorld！

文章预览

“ 问 渠 那 得 清 如 许 ， 为 有 源 头 活 水 来 ” ， 通 过 前 沿 领 域 知 识 的 学 习 ， 从 其 他 研 究 领 域 得 到 启 发 ， 对 研 究 问 题 的 本 质 有 更 清 晰 的 认 识 和 理 解 ， 是 自 我 提 高 的 不 竭 源 泉 。 为 此 ， 我 们 特 别 精 选 论 文 阅 读 笔 记 ， 开 辟 “ 源 头 活 水 ” 专 栏 ， 帮 助 你 广 泛 而 深 入 的 阅 读 科 研 文 献 ， 敬 请 关 注 ！ 本文提出一项 全新的图像编辑任务EditWorld ，它基于真实世界和虚拟世界中的场景来定义图像编辑指令。该方法通过分类和定义各种世界指令，利用大型预训练模型（如 GPT-3.5、Video-LLava 和 SDXL）生成具有丰富场景的输入-指令-输出三元组数据集。EditWorld训练了一个基于扩散模型的图像编辑模型，并设计了一种后编辑策略来提高模型遵循指令的能力，并增强非编辑区域的外观一致性。广泛的实 ………………………………