【剑桥大学博士论文】联邦自监督学习，141页pdf

文章预览

联邦学习（Federated Learning，FL）因其在不损害用户数据隐私的情况下促进大规模数据集协同学习的独特能力，已受到研究界和工业界的广泛关注 。然而，目前的FL实践主要集中于监督学习任务，要求数据与高质量的领域特定标签同时存在。这一前提限制了FL在许多现实世界应用中的实施，因为在边缘设备上获取此类标签的途径有限。自监督学习（Self-Supervised Learning，SSL）能够从未标注数据中获取表示，这些表示可以随后用于解决各种下游任务。将SSL与FL结合，不仅在隐私保护训练方面具有显著优势，还包括强大的分布式表示学习、增强的可扩展性以及对噪声数据的抗扰性。尽管如此，在FL背景下的SSL研究仍然稀缺。 本论文旨在弥补这一研究空白，通过阐明基础挑战并提出潜在解决方案，推动在FL环境中训练SSL模型的发展，特别是在语音、视频和图像 ………………………………