减轻幻觉新SOTA，7B模型自迭代训练效果超越GPT-4，上海AI lab发布

文章预览

夕小瑶科技说 原创 作者 | 谢年年 LLMs在回答各种复杂问题时，有时会“胡言乱语”，产生所谓的幻觉。解决这一问题的初始步骤就是创建高质量幻觉数据集训练模型以帮助检测、缓解幻觉。 但现有的幻觉标注数据集，因为领域窄、数量少，加上制作成本高、标注人员水平不一，所以很难变得强大。 为了解决这个问题，上海AI lab设计了一个迭代自训练框架——ANAH-v2，它像滚雪球一样，一边扩大幻觉检测的数据集，一边提高标注者的准确性。 这个框架利用期望最大化算法，每次循环都会先用现有的幻觉标注工具给新数据打上“幻觉”标签，然后用这些新数据训练一个更厉害的标注工具。 通过迭代，检测工具越来越强，数据集也越来越大。 一个仅有7B参数的幻觉标注模型（89.55%）超越了GPT-4的表现（86.97%），并且在幻觉检测基准HaluEval和HalluQA上获得 ………………………………