【博士论文】大语言模型的测试与评价：准确性、无害性和公平性，223页pdf

文章预览

大型语言模型（LLMs），如ChatGPT，凭借其出色的对话能力和智能性，在过去几年中迅速渗透到人们的工作和日常生活中。ChatGPT已经成为人类历史上用户增长最快的软件，并成为下一代人工智能应用的重要基础模型。然而，LLMs的生成内容并非完全可靠，它们经常产生包含事实错误、偏见和有害性的内容。鉴于其庞大的用户群体和广泛的应用场景，这些不可靠的回应可能带来许多严重的负面影响。本文介绍了我在博士研究期间对语言模型可靠性领域的探索性工作，从自动化软件测试和自然语言处理的角度研究LLMs的准确性、无害性和公平性。 首先，为了衡量LLMs的准确性，我们提出了两个新的测试框架：FactChecker和LogicAsker，分别用于评估事实知识和逻辑推理的准确性。FactChecker通过从大规模知识库中检索事实三元组来构建知识图谱，进而生成各种类型的 ………………………………