可信大模型 Reliable LLM（一）：生成大模型的置信度估计与评测

文章预览

知乎：没有鱼鳔的鲨鱼 链接：https://zhuanlan.zhihu.com/p/696065154 本系列 blog 是有关大模型的置信度、不确定性估计及校准的学习笔记分享，这些研究对提高大模型的可靠性有重要意义，我会持续更新相关基础工作和最新研究，相关文献也整理在以下 GitHub 项目中，欢迎关注~ https://github.com/AmourWaltz/Reliable-LLM I. 大模型的过度自信和幻觉问题 当今的大语言模型（LLMs）尽管在实际应用中取得不俗的表现，但很难保证其输出的可靠性（Reliability），由于预训练阶段模型在大规模语料通过最大似然概率的方式学习，网络的海量数据总是倾向让模型给出回复。大模型获取的知识一般在预训练（pretraining）阶段就已经确定并以参数化的形式储存，如果在指令微调（instruction-tuning）中使用模型没见过的知识样例，那必然会导致模型对于未知的问题也给出确定答复，即编 ………………………………