Small Agent Can Also Rock！基于小模型的自动化幻象检测智能体

主要观点总结

本文提出了HaluAgent，一种基于开源小模型的幻象检测智能体，能够自动化地选择工具检测文本、代码和数学表达式等多种幻觉类型，并得到细粒度检测结果，支持中英双语检测。文章介绍了HaluAgent的背景、方法、实验和总结，以及投稿信息和联系方式。

关键观点总结

关键观点1: 研究背景

随着自然语言处理技术的发展，大语言模型在各类生成自然语言文本任务上表现出色，但存在生成“幻象”文本的问题。为了推动大语言模型在现实应用中的可靠性，研究者提出了多种检测幻象的技术方案。

关键观点2: 研究方法

为了检测通用场景下大语言模型回复中的幻象，设计了HaluAgent，一个用于检测多种文本类型幻象的自动化智能体系统。HaluAgent框架的核心是一个经过精心指令化的LLM，能够自动化调用工具来检测更广泛的幻象类型。实现逐步检测的三阶段检测框架，并合成高质量的检测轨迹数据，用于微调开源的LLM。

关键观点3: 实验结果

实验结果表明，HaluAgent在域内和域外数据集上的幻象检测性能有显著提升。相比开源模型，HaluAgent通过引入工具和精细化检测框架，可以显著提高LLM的幻象检测性能。通过轨迹微调，小型开源模型也可以作为有效的幻象检测智能体，缩小与闭源模型之间的性能差距。

关键观点4: 结论

本研究提出了一种自动化智能体框架HaluAgent，能够对中英双语文本进行幻象检测，实现了显著的性能提升。作者呼吁关注大语言模型的幻象问题及其在现实应用中的可靠性问题。

文章预览

幻象检测是大语言模型的一项挑战性任务，现有研究多依赖于闭源模型（如 GPT-4）。本文提出了 HaluAgent，一种基于开源小模型的幻象检测智能体，能够自动化地选择工具检测文本、代码和数学表达式等多种幻觉类型得到细粒度检测结果，并支持中英双语检测。 论文标题： Small Agent Can Also Rock! Empowering Small Language Models as Hallucination Detector  论文链接： https://aclanthology.org/2024.emnlp-main.809.pdf 开源项目： https://github.com/RUCAIBox/HaluAgent 一、背景 随着自然语言处理技术的发展，大语言模型在各类生成自然语言文本任务上表现出色，在现实场景中被广泛应用。然而，大语言模型存在一个广为人知的问题，即大语言模型容易在生成的文本中出现“幻象”，生成看似合理但实际上错误的信息，这严重限制了模型的可信度和实用性。 为了推动大语言模型在现实应用 ………………………………