对齐因果变量与神经表示

文章预览

Finding alignments between interpretable causal variables and distributed neural representations  寻找可解释的因果变量与分布式神经表示之间的对齐 https://arxiv.org/abs/2303.02536v4 摘要 因果抽象是一个有前景的理论框架，用于解释人工智能，它定义了何时一个可解释的高级因果模型是低级深度学习系统的忠实简化。然而，现有的因果抽象方法有两个主要限制：它们需要在高级模型和低级模型之间的对齐上进行蛮力搜索，并且它们假定高级模型中的变量将与低级模型中的不相交的神经元集合对齐。在本文中，我们提出了分布式对齐搜索（DAS），它克服了这些限制。在DAS中，我们使用梯度下降而不是进行蛮力搜索来找到高级和低级模型之间的对齐，我们通过分析非标准基——分布式表示中的表示，允许单个神经元扮演多个不同的角色。我们的实验表明，DAS能够发现先前方法错 ………………………………