微调之外的大模型应用技术

文章预览

一、简介 在实际应用中，针对任务的具体需求，我们会对大模型进行微调使其能更好适应专门的任务和场景。然而，在具体任务实现时，即使是对较小的大模型（如7B）进行微调也需要大量的算力资源，并且在没有大量的数据的基础上，微调得出的效果也不一定理想。由于大模型推理所需的资源远低于微调所需资源，因此，在算力以及数据并不富裕的情况下，使用提示工程和RAG技术代替微调技术，并且直接将较小的大模型（如7B）换成较大的大模型（如32B）将会在实际应用中展现出更好的效果。本文也将介绍两篇分别将提示工程与RAG技术使用在实际应用的论文。 二、提示工程 论文： ResumeFlow: An LLM-facilitated Pipeline for Personalized Resume Generation and Refinement 论文链接： https://arxiv.org/pdf/2402.06221 代码链接： https://github.com/Ztrimus/job-llm 引言 大模型的提示工程 ………………………………