【牛津大学博士论文】迈向具有类人自然语言理解的语言模型

文章预览

近年来，语言模型（Language Models, LMs）已被确立为大多数自然语言任务中最具能力的模型。然而，除了Transformer架构的发明，大多数进展主要依赖于模型和数据规模的扩展（Radford et al., 2018, 2019; Brown et al., 2020; OpenAI, 2023）。这种扩展使得这些模型在标准自然语言基准上能够与人类水平持平甚至超越。然而，尽管这些模型版本不断迭代，其推理能力、可解释性和学习能力依然与人类存在差距并较为逊色。自然语言解释（Natural Language Explanations, NLEs）的研究（Hendricks et al., 2016）落后于基于神经网络的语言模型（Bengio et al., 2003）的研究，部分原因是其起步较晚。此外，LMs仍然通过反向传播进行训练，这种方式效率较低且与人脑的工作方式根本不同。在本论文中，我展示了使语言模型在自然语言理解和生物学合理性上更具类人特征的研究进展。首先，我研 ………………………………