【牛津大学博士论文】从多模态数据中学习表示，258页pdf

文章预览

监督学习通过使用标记数据集训练模型，由于其高成本以及泛化性和鲁棒性问题，正变得不那么流行 。这并不令人意外，因为图像和语言等数据十分复杂，无法通过单一标签准确表示。使用这种方法训练的模型往往学习到与标签虚假相关的特征，导致在现实世界中表现不佳。 本论文探讨了使用多种数据源进行表示学习，如图像和语言或照片和素描 。我们通过生成模型和判别模型证明，在多种模态或领域之间提取共同的抽象概念可以获得更准确和更具泛化能力的表示。此外，我们还研究了提高这些模型数据效率的方法，包括通过对比风格目标使用更少的多模态对，以及通过掩码图像建模生成多模态对。最后，我们系统地评估了不同学习目标在分布偏移任务上的鲁棒性，以了解它们在现实世界中的实用性。 假设你是一名外星人，任务是掌握“狗”的 ………………………………