【CMU博士论文】朝着更准确的大型语言模型：参数化和非参数化方法

文章预览

大型语言模型（LLMs）在帮助人们获取信息方面越来越重要，从“世界上最大的冰盖在哪里”这样简单的事实性问题到需要获取实时信息和推理的复杂问题，如“计划一次迈阿密的度假”。有两种处理需要事实知识的问题的范式：参数化方法将知识存储在LLMs的参数中，并通过提示来引出这些知识；非参数化方法将知识检索外包给外部的非参数化数据存储。在本论文中，我们旨在研究、比较并增强这两种范式的能力。 由于LLMs通过在多样的语料库上进行预训练，已经在其参数中积累了大量知识，因此可以在被提示提问时直接生成答案。在论文的第一部分中，我们重点关注利用LLMs参数中包含的事实性知识的参数化方法。我们首先研究通过组合从不同提示中得出的多种预测来提取更多知识的方法。然后，我们校准LLMs，使其在回答超出其知识范围的问题时 ………………………………