【UIUC博士论文】迈向可信的大型语言模型，312页pdf

文章预览

在人工智能的新时代，大型语言模型（LLM）在广泛的自然语言处理（NLP）任务中取得了前所未有的成功，显著提升了对人类语言的理解和生成能力 。然而，随着这一显著进展，人们对其安全性和可靠性的担忧也在增加。潜在的错误行为、对抗性攻击的脆弱性、伦理问题以及敏感数据的隐私泄漏，都是面临的重大挑战。 本文深入探讨了LLM的可信性，涵盖了鲁棒性、隐私、伦理和全面评估等方面 。首先，以可信机器学习和NLP的基础原则为起点，我们进入应用领域，通过我们新颖的目标对抗性攻击框架和多样的扰动函数，识别并剖析现有LLM的脆弱性。针对这些脆弱性，我们设计了InfoBERT学习框架，从信息论的角度提高鲁棒性。接着，本文延伸到LLM的隐私领域，我们提出的方法DataLens利用生成模型和梯度稀疏性提供严格的差分隐私保证。我们还探讨了联邦 ………………………………