EMNLP 2024 | 从特征解耦角度重新审视单义神经元及其在对齐算法中的作用

文章预览

本文提出了一种单义性的新proxy，即基于特征解耦相关性的方法，并通过引入相应的正则项验证了proxy的有效性。该方法不仅提升了模型的单义性，还增强了其表示的敏感性，从而为模型的解释性和稳健性提供了新的视角。希望此研究能够激发更多关于模型可解释性与优化相结合的探索，并在表示学习领域带来更深刻和本质的发现。 论文题目： Encourage or Inhibit Monosemanticity? Revisit Monosemanticity from a Feature Decorrelation Perspective  论文链接： https://arxiv.org/abs/2406.17969v1 一、动机 随着大规模语言模型（LLMs）在自然语言处理（NLP）任务中取得了显著进展，对其内部工作机制的理解变得至关重要。近年来的研究逐渐将重点放在对模型基本单元的解释性上，尤其是神经元的单义性(monosemanticity)。所谓单义性神经元，是指那些专门与某一特定概念紧密相关的神经元， ………………………………