自然语言处理中的探针可解释方法综述

文章预览

随着大规模预训练模型的广泛应用，自然语言处理的各领域（如文本分类和机器翻译）均取得了长足的发展.然 而，受限于预训练模型的“黑盒”特性，其内部的决策模式以及编码的知识信息被认为是不透明的.以 OpenAI 发布的 ChatGPT 和 GPT-4 为代表的先进预训练模型为例，它们在各领域取得重大性能突破的同时，由于无法获知其内部是否真正 编码了人们期望的世界知识或语言属性，以及是否潜藏一些不期望的歧视或偏见现象，因此仍然无法应用于重视安全性和 公平性的领域.近年来，一种新颖的可解释性方案“探针任务”有望提升人们对预训练模型各层编码的语言属性的理解.探针 任务通过在模型的某一区域训练辅助语言任务，来检验该区域是否编码了感兴趣的语言属性.例如，现有研究通过冻结模型 参数并在不同层训练探针任务，已经证明预训练模 ………………………………