AAAI 2024 | 上交等提出自适应间距强化对比学习，增强多个模型的分类能力

文章预览

©PaperWeekly 原创 · 作者 |  张剑清 单位 |  上海交通大学、清华大学（AIR） 研究方向 |  联邦学习 本文介绍的是我们的一篇收录于 AAAI 2024 的论文，主要考虑的是数据异质和模型异构场景下的联邦学习框架。在异构联邦学习中，由于模型架构不同，传统联邦学习中的参数聚合方法不再适用，取而代之的是基于知识蒸馏的知识共享方法。 在这些方法中，我们关注不引入额外数据集的（data-free）这一类方法。这类方法普遍通过共享类别表征向量（prototype）实现，但在模型架构差异较大的场景，每个客户机生成的表征向量差异悬殊，直接在服务器端聚合表征向量会造成表征能力的下降。于是，我们提出一种在服务器端基于 自适应间距强化的对比学习 来提高表征向量的表征能力的方法 FedTGP，进一步提升客户端模型的分类能力。 论文标题： FedTGP: Trainable G ………………………………