按需搭配一键叠穿，效果拿下新SOTA！中山大学&字节智创数字人团队提出虚拟试穿新框架

文章预览

来源：量子位 多件衣服按指定穿法一键虚拟试穿！ 中山大学 & 字节智创数字人团队提出了一个名为 MMTryon 的虚拟试穿框架，可以通过输入多个服装图像及 指定穿法的文本指令 来生成高质量的组合试穿结果。 比如选中一件大衣、一条裤子，再配一个包，用语言描述穿法，“啪”的一键就穿到了人像上： 无论是真人图像又或是漫画人物，都能一键按照搭配试穿衣服： 对于单图换装，MMTryon有效利用了大量的数据设计了一个表征能力强大的服装编码器，使得该方案 能处理复杂的换装场景及任意服装款式 ； 对于组合换装，MMTryon 消除了传统虚拟换装算法中对服装精细分割的依赖 ，可依靠一条文本指令从多张服装参考图像中选择需要试穿的服装及对应的穿法，生成真实自然的组合换装效果。 在基准测试中，MMTryon拿下新SOTA。 多模态多参考注意机制加持 ………………………………