大幅降低LLM对困难样本错误分类与幻觉的新方法，最高减少22.7%

文章预览

大型语言模型（LLM） 在大型多类分类任务中表现出色，但仍然存在 分类错误 ，甚至生成了 词汇表外的类别标签 。 为了解决这些问题，提出了一种称为“ Paraphrase and AGgregate (PAG)-LLM ”的方法： LLM生成输入查询的多个释义（平行查询） 对原始查询和每个释义执行多类分类 根据置信度分数聚合所有分类标签 该方法特别适用于LLM不确定的困难示例，可以减少关键的误分类和幻觉标签生成错误。 左侧的图展示了PAG-LLM的流程 。在Figure 1(A)中，LLM对原始查询进行分类，只有当分类置信度低于阈值τ时，原始查询才会被提供给LLM以生成释义，这些释义随后再次被提供给 LLM进行分类。最后，LLM聚合来自释义和原始查询的预测类别标签。 展示了来自CLINC的示例，其中LLM分类了错误的标签（顶部示例）和词汇表外（OOV）类别标签（底部示例）。 在顶部示例中 ， ………………………………