【NLP】AAAI21最佳论文Runners Up！Transformer的归因探索！

文章预览

作者：一元，四品炼丹师 Self-Attention Attribution: Interpreting Information Interactions Inside Transformer（AAAI21） 问题背景 在之前大家对于Transformer的理解都是，Transformer的成功得益于强大Multi-head自注意机制，从输入中学习token之间的依赖关系以及编码上下文信息。我们都很难 解释输入特性如何相互作用以实现预测的 。Attention计算得到的分数也并不能完美的解释这些交互作用，本文提出一种自我注意归因方法来解释Transformer内部的信息交互。我们以Bert为例进行研究。首先，我们利用自我注意归因来识别重要的注意头，其它注意头会随着边际效果的下降而被剪掉。此外，我们提取了每个层中最显著的依赖关系，构造了一个属性树， 揭示了Transformer内部的层次交互 。最后，我们证明了 ………………………………