3D服装生成新SOTA！谷歌和CMU提出FabricDiffusion：可将织物纹理从单个图像迁移到3D服装

主要观点总结

本文介绍了一种将织物纹理从单个服装图像迁移到任意形状的3D服装的新方法——FabricDiffusion。该方法能自动从参考图像中提取高质量纹理贴图并将其转移到目标3D服装表面，可以处理不同类型的纹理、图案和材料。此外，它还能生成漫反射反照率、粗糙度等，以实现3D服装的重新照明和渲染。实验表明，该方法在合成数据和真实世界服装图像上的表现均优于现有方法，并且可以泛化到看不见的纹理和服装形状。

关键观点总结

关键观点1: 介绍FabricDiffusion方法

一种将织物纹理从单个服装图像迁移到任意形状的3D服装的方法，能够自动提取高质量纹理贴图并转移到目标3D服装表面。

关键观点2: FabricDiffusion的性能表现

FabricDiffusion在合成数据和真实世界服装图像上的表现均优于现有方法，具有广泛的适用性。

关键观点3: FabricDiffusion的应用范围

可以处理不同类型的纹理、图案和材料，并生成漫反射反照率、粗糙度等，用于3D服装的重新照明和渲染。

关键观点4: 方法的局限性

在重建非重复图案时可能会产生错误，难以准确捕捉复杂印花或徽标中的精细细节。

文章预览

3D服装生成新工作！谷歌和CMU提出FabricDiffusion：一种将织物纹理从单个服装图像迁移到任意形状的 3D 服装的方法。FabricDiffusion性能表现SOTA！同时可以泛化到unseen的纹理和服装形状！收录顶会SIGGRAPH Asia 2024！ 给定一个现实世界的 2D 服装图像和一个原始的 3D 服装网格，我们提出使用 FabricDiffusion 自动从参考图像中提取高质量的纹理贴图和打印件，并将其转移到目标 3D 服装表面。我们的方法可以处理不同类型的纹理、图案和材料。此外，FabricDiffusion 不仅能够生成漫反射反照率，还能生成粗糙度、法线和金属纹理贴图，从而能够在各种照明条件下对制作的 3D 服装进行精确的重新照明和渲染。 论文阅读 摘要 我们引入了 FabricDiffusion，这是一种将织物纹理从单个服装图像转移到任意形状的 3D 服装的方法。现有方法通常通过 2D 到 3D 纹理映射或通过生成模型 ………………………………