你的Agent稳定吗？——基于大模型的AI工程实践思考

主要观点总结

本文总结了作者在盒马智能客服的落地场景下的思考，从工程角度阐述了Agent应用重要的稳定性因素和一些解法。涉及背景、Agent的简单介绍、Agent面临的稳定性问题以及解决方案等。

关键观点总结

关键观点1: 背景

随着大模型技术的发展，Agent的planning能力使得基于大模型的底座，AI应用可以处理越来越高级的事情。但在面对各种复杂的场景时，其稳定问题也变得凸显。

关键观点2: Agent的简单介绍

AI Agent具备自行思考并使用工具逐步实现目标的能力。关键模块包括prompt、Chain、LLM、Tools、Actions等。

关键观点3: Agent面临的稳定性问题

主要包括幻觉问题、语料质量问题、工程重试和异常处理问题。其中幻觉问题是LLM应用开发中的常见问题，包括数据训练不足或质量不高、模型复杂性、语言和语义的复杂性等原因。

关键观点4: 解决方案

包括通过基于知识召回的RAG解决幻觉问题，补充记忆信息，优化工程方法，提高语料质量，处理工程稳定性问题，以及代替人的Agent的兜底--人工托管等。

关键观点5: 监控

对LLM维度、Tool调用、RAG等进行监控，以确保系统的稳定性和正常运行。

文章预览

阿里妹导读 本文总结了作者在盒马智能客服的落地场景下的一些思考，从工程的角度阐述对Agent应用重要的稳定性因素和一些解法。 一、背景 随着大模型技术的发展，越来越多的大模型应用开始涌现，并且应用到越来越多的业务场景中，比如AIGC生图、小蜜机器人、客服机器人、自动文档处理等等；并且Agent的planning能力使得基于大模型的底座，AI应用可以处理越来越高级的事情。 但是随着大模型的广泛应用，在面对各种复杂的场景时，其稳定问题也变得凸显，比如Agent的回答幻觉问题、知识语料训练质量问题、工程重试和异常处理问题，都对Agent的稳定性有影响；当然基座的能力也至关重要，但是本人从工程的角度来阐述同样对Agent应用重要的稳定性因素和一些解法。 本人目前在参与盒马AI智能应用的项目中，包括智能小蜜机器人、智能客服、AIGC ………………………………