专栏名称: AIWalker
关注计算机视觉、图像处理、深度学习等领域的干货分享与前沿paper解读。AIWalker由具有多年算法研究与产品化落地经验的Happy运营,原创为主、同时会转载优秀解读文章。欢迎志同道合的小伙伴们加入一同学习进步。
目录
相关文章推荐
今天看啥  ›  专栏  ›  AIWalker

武大 & 加州大学提出 FairViT | 自适应Mask策略,提高视觉Transformer的公平性与准确度 !

AIWalker  · 公众号  ·  · 2024-08-02 18:00

文章预览

关注 「 AIWalker 」 并 星标 从此AI不迷路 来源 | 集智书童  作者 | 小书童 在计算机视觉任务中,视觉Transformer(ViT)已经取得了优异的性能,并展示了其巨大的潜力。在现实世界任务中广泛部署ViT需要对模型的社会影响有深入的理解。然而,大多数基于ViT的工作并没有考虑公平性,且目前尚不清楚将面向卷积神经网络(CNN)的去偏见算法直接应用于ViT是否可行。 此外,先前的工作通常为了公平性而牺牲准确性。因此,作者旨在开发一种在不牺牲公平性的前提下提高准确性的算法。在本文中,作者提出了FairViT,一个新颖的既准确又公平的ViT框架。 为此,作者引入了一种新颖的距离损失,并在注意力层上部署了自适应的公平性感知 Mask ,这些 Mask 随着模型参数的更新而更新。实验结果表明,FairViT在保持竞争力的计算效率的同时,其准确性优于其他替 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览