开源项目 | BrushEdit 新型交互式图像编辑框架

文章预览

点击下方卡片，关注 「魔方 AI 空间」 公众号 简介 BrushEdit ，一种新颖的基于修复的指令指导图像编辑范式，它利用多模态大模型 （MLLM） 和图像修复模型来实现自主、用户友好和交互式的自由格式指令编辑。 通过在代理-合作框架中集成 MLLM  和双分支 图像修复模型 来设计一个支持自由格式指令编辑的系统，以执行编辑类别分类、主要对象识别、掩码获取和编辑区域修复。 该框架有效地结合了 MLLM 和修复模型 ，在七个关键指标上取得了卓越的性能，包括 掩码区域保留和编辑效果连贯性。 项目地址： https://github.com/TencentARC/BrushEdit 方法概述 BrushEdit ，一种基于图像修复和指令引导的图像编辑框架。具体来说， 编辑分类:  使用预训练的多模态大语言模型（MLLM）解释用户的自由形式编辑指令，识别编辑类型（添加、删除、局部编辑等），并定位目 ………………………………