活动报名｜大模型去偏倚，基于因果引导的主动学习方法CAL

主要观点总结

报告主题围绕大模型去偏倚的因果指导主动学习方法展开。报告指出LLMs会捕获预训练数据中的各类偏倚，提出使用因果指导主动学习方法（CAL）来识别和减轻LLMs的偏倚问题。CAL通过因果不变性理论区分语义信息和偏倚信息，自动识别有偏数据，并归纳偏倚模式以减轻LLMs的偏见。

关键观点总结

关键观点1: LLMs存在的偏倚问题

大语言模型(LLMs)在建模数据分布时会捕获预训练数据中的各类偏倚，如性别偏倚、位置偏好等，这会影响LLMs的无害性与泛化性。

关键观点2: 传统与现有方法的挑战

传统依赖人类先验知识的偏倚识别方法因数据偏倚的多样性与隐蔽性而受限；现有自动识别数据偏倚模式的方法在应对生成式LLMs的复杂偏倚模式上存在困难。

关键观点3: CAL方法介绍与优势

CAL通过因果不变性理论揭示语义信息和偏倚信息的本质区别，能自动识别出对模型决策存在显著影响的有偏数据，归纳出可解释的偏倚模式，并利用有偏数据和偏倚模式通过上下文学习的方法来减轻LLMs的偏见。实验结果表明，CAL方法能有效识别有偏数据并归纳偏倚模式，实现LLMs的去偏。

关键观点4: 报告嘉宾介绍

报告嘉宾为北京智源人工智能研究院的研究员杜理，其研究兴趣包括大语言模型数据归因、预训练与指令数据优化、主动学习、课程学习等方向。

文章预览

报告主题： 大模型去偏倚，基于因果引导的主动学习方法 报告日期： 09月20日（周五）10:30-11:30 报告要点： 大语言模型(LLMs)的训练目标是建模数据分布，因此将不可避免捕获预训练数据中存在的各类偏倚，例如性别偏倚、位置偏好等。这将影响LLMs的无害性与泛化性。解决这一问题的关键是识别出数据中存在的各类偏倚。一类传统偏倚识别方法依赖人类先验知识达到这一目的。但是数据偏倚的多样性与隐蔽性限制了此类方法的实际应用。另一类方法旨在自动识别数据集中存在的偏倚模式，但是此类方法主要针对判别式模型，在应对生成式LLMs固有的复杂偏倚模式上存在困难。针对这一问题，本文提出了因果指导的主动学习方法(CAL)，以利用大语言模型强大的识别与归纳能力，自动、自主地识别LLMs的偏倚模式并减轻LLMs的偏倚。具体来说，CAL首先通过 ………………………………