重磅：AI机制可解释性的理论基础：抽象因果

文章预览

点击上方“ 图灵人工智能 ”，选择“星标”公众号 您想知道的人工智能干货，第一时间送达                           Causal Abstraction:A Theoretical Foundation for Mechanistic Interpretability https://arxiv.org/pdf/2301.04709 v3 2024 摘要 因果抽象为机制可解释性提供了理论基础，该领域涉及提供可理解的算法，这些算法是对已知但不透明的黑盒AI模型低层次细节的忠实简化。我们的贡献包括：(1) 将因果抽象理 论从机制替换（即硬干预和软干预）推广到任意机制转换（即从旧机制到新机制的泛函 ），(2) 提供了一种 灵活且精确的形式化定义，用于模块化特征、多义性神经元和分级忠实度的核心概念 ，以及(3) 在因果抽象的 共同语言下统一了多种机制可解释性方法，即激活和路径修补、因果中介分析、因果清洗、因果追踪、电路分析、概念擦除、稀疏自编码器、差分二 ………………………………