大模型RAG入门及实践

文章预览

前言 在大语言模型（LLM）飞速发展的今天，LLMs 正不断地充实和改进我们周边的各种工具和应用。如果说现在基于 LLM 最火热的应用技术是什么，检索增强生成（ RAG，Retrieval Augmented Generation ）技术必占据重要的一席。RAG 最初是为了解决 LLM 的各类问题的产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的解决方案。在介绍 RAG 之前，我们先来看一下现在LLM存在的问题。 LLM的问题 尽管LLM拥有令人印象深刻的能力，但是它们还面临着一些问题和挑战： 幻觉问题 ：大模型的底层原理是基于概率，在没有答案的情况下经常会胡说八道，提供虚假信息。 时效性问题 ：规模越大（参数越多、tokens 越多），大模型训练的成本越高。类似 ChatGPT3.5，起初训练数据是截止到 2021 年的，对于之后的事情就不知道了。而且对于一些高时效性的事 ………………………………