武大 & 加州大学提出 FairViT | 自适应Mask策略，提高视觉Transformer的公平性与准确度 ！

文章预览

关注 「 AIWalker 」 并 星标 从此AI不迷路 来源 | 集智书童  作者 | 小书童 在计算机视觉任务中，视觉Transformer（ViT）已经取得了优异的性能，并展示了其巨大的潜力。在现实世界任务中广泛部署ViT需要对模型的社会影响有深入的理解。然而，大多数基于ViT的工作并没有考虑公平性，且目前尚不清楚将面向卷积神经网络（CNN）的去偏见算法直接应用于ViT是否可行。 此外，先前的工作通常为了公平性而牺牲准确性。因此，作者旨在开发一种在不牺牲公平性的前提下提高准确性的算法。在本文中，作者提出了FairViT，一个新颖的既准确又公平的ViT框架。 为此，作者引入了一种新颖的距离损失，并在注意力层上部署了自适应的公平性感知 Mask ，这些 Mask 随着模型参数的更新而更新。实验结果表明，FairViT在保持竞争力的计算效率的同时，其准确性优于其他替 ………………………………