大模型去偏倚｜基于因果引导的主动学习方法

文章预览

报告主题： 大模型去偏倚｜基于因果引导的主动学习方法 报告日期： 09月20日（周五）10:30-11:30 报告要点： 大语言模型(LLMs)的训练目标是建模数据分布，因此将不可避免捕获预训练数据中存在的各类偏倚，例如性别偏倚、位置偏好等。这将影响LLMs的无害性与泛化性。解决这一问题的关键是识别出数据中存在的各类偏倚。一类传统偏倚识别方法依赖人类先验知识达到这一目的。但是数据偏倚的多样性与隐蔽性限制了此类方法的实际应用。另一类方法旨在自动识别数据集中存在的偏倚模式，但是此类方法主要针对判别式模型，在应对生成式LLMs固有的复杂偏倚模式上存在困难。针对这一问题，本文提出了因果指导的主动学习方法(CAL)，以利用大语言模型强大的识别与归纳能力，自动、自主地识别LLMs的偏倚模式并减轻LLMs的偏倚。具体来说，CAL首先通过 ………………………………