大语言模型的因果性

文章预览

最近，人工智能领域的突破推动了范式的转变，其中具有数十亿或万亿参数的大型语言模型（LLM），如ChatGPT、LLaMA、PaLM、Claude和Qwen，经过在海量数据集上的训练，在一系列语言任务中取得了前所未有的成功。然而，尽管取得了这些成功，LLM仍然依赖于概率建模，这种建模通常捕捉到的是植根于语言模式和社会刻板印象的虚假相关性，而不是实体与事件之间的真正因果关系。这个局限性使得LLM容易受到诸如人口偏见、社会刻板印象和LLM幻觉等问题的影响。这些挑战凸显了将因果性整合到LLM中的紧迫性，以超越依赖相关性驱动的范式，构建更可靠且符合伦理的人工智能系统。 尽管许多现有的调查和研究主要集中在利用提示工程激活LLM的因果知识或开发基准来评估它们的因果推理能力，但大多数这些努力依赖于人为干预来激活预训练模型。如何将因果 ………………………………