AAAI 2021最佳论文Runners Up！Transformer的归因探索！

文章预览

点击下方 卡片 ，关注“ CVer ”公众号 AI/CV重磅干货，第一时间送达 本文转载自：炼丹笔记 作者：一元，四品炼丹师 Self-Attention Attribution: Interpreting Information Interactions Inside Transformer（AAAI21） 论文：https://arxiv.org/abs/2004.11207 问题背景 在之前大家对于Transformer的理解都是，Transformer的成功得益于强大Multi-head自注意机制，从输入中学习token之间的依赖关系以及编码上下文信息。我们都很难 解释输入特性如何相互作用以实现预测的 。Attention计算得到的分数也并不能完美的解释这些交互作用，本文提出一种自我注意归因方法来解释Transformer内部的信息交互。我们以Bert为例进行研究。首先，我们利用自我注意归因来识别重要的注意头，其它注意头会随着边际效果的下降而被剪掉 ………………………………