【ETHZ博士论文】二维和三维生成模型在现实世界约束下

文章预览

近期生成模型的进展已经改变了视觉内容的创作，并在计算机视觉和图形学的多个应用中展现出巨大的潜力。然而，生成模型在日常任务中的应用受到生成过程可控性、数据需求和计算要求等挑战的限制。本论文的重点是解决二维和三维生成模型中的这些现实世界的约束。 首先，我们专注于通过迁移学习提高类条件生成对抗网络（GAN）的数据效率。我们引入了一种新的类特定迁移学习方法，称为cGANTransfer，旨在根据旧类与新类的相关性明确传播知识。通过广泛的评估，我们证明了所提出方法在条件GAN迁移中的优越性，超越了之前的方法。 其次，我们研究了使用小数据集训练类条件GAN的情况。特别地，我们发现了GAN中的条件崩溃——由小数据上的条件GAN训练引起的模式崩溃。我们提出了一种基于过渡条件的训练策略，有效防止了观察到的模式崩溃 ………………………………