复旦大学：一个小技巧探测大模型的知识边界，有效消除幻觉

文章预览

夕小瑶科技说 原创 作者 | Zicy 孔子说“知之为知之，不知为不知，是知也”，目前的大模型非常缺乏这个能力。虽然大模型拥有丰富的知识，但它仍然缺乏对自己知识储备的正确判断。近年来LLMs虽然展现了强大的能力，但它们偶尔产生的内容捏造，即所谓的“幻觉”，限制了其在专业领域的应用，人们也对它们的专业建议持怀疑态度，这些幻觉现象的根源正在于LLMs无法准确表达其 知识边界 。 最近，复旦大学提出了 COKE方法 ( Confidence-derived Knowledge boundary Expression)，通过利用模型内部的置信信号，教导LLMs识别和表达其知识边界，从而减少幻觉现象。实验结果表明，COKE显著提升了模型在域内和域外的表现，使模型能够在回答已知问题的同时，坦诚面对其未知领域的问题。 简而言之，就是增加大模型“知道自己不知道”的知识，减少大模型“不知道 ………………………………