有了RAG我们还需要微调吗?

文章预览

RAG技术已经这么强大了,我们真的还需要微调吗? ©作者 | Zane 来源 | 神州问学 引言 目前,大模型的热度居高不下,随着大模型的火爆越多的公司和组织开始使用大模型技术,往往大模型可以解决日常中的大部分问题,对于企业的私有知识的问答我们也可以通过RAG技术来进行实现,但是在面对特定任务、领域和场景时,基础大模型的通用知识往往不能给到我们准确的回复,而RAG技术通常依赖于通用知识库,这可能不包含特定领域的最新或者最专业的信息.最终我们仍然需要对模型本身进行微调,增强大模型本身的专业领域知识能力,来实现对专业领域等特殊场景的支持. 如何高效的微调这一问题,随着谷歌的研究人员在发布了论文《Parameter-Efficient Transfer Learning for NLP》[1] 后渐渐进入了人们的视野,PEFT技术旨在通过最小化的微调参数数量和复杂度,来提高与训练模型在新 ………………………………