专栏名称: Ai学习的老章
长期跟踪关注统计学、数据挖掘、机器学习算法、深度学习、人工智能技术与行业发展动态,分享Python、机器学习等技术文章。回复机器学习有惊喜资料。
目录
相关文章推荐
今天看啥  ›  专栏  ›  Ai学习的老章

RAG还是微调,怎么选?

Ai学习的老章  · 公众号  ·  · 2024-11-24 11:41
    

文章预览

要想提高大模型在特定行业与场景中输出的适应性与准确性,除了使用RAG,还可以使用自己的数据对大模型进行微调。那么这两种方案的区别及选择的标准是什么呢? 我们首先简单了解一下大模型微调。以OpenAI公司的GPT大模型为例,一个GPT架构的大模型的训练通常需要经过以下几个阶段。 1.预训练阶段 这是整个过程中最复杂的阶段,像GPT-4这样的模型在预训练阶段通常需要成千上万个GPU,在海量的无标记的数据上训练数月。这个阶段其实占用了全部阶段的大部分时间。预训练阶段的输出模型一般叫基座模型,有的基座模型会被发布(比如开源的Llama),而有的基座模型不会被发布(比如GPT-4)。 基座模型本身是可以直接使用的,但通常不是一个“回答问题”的模型,而是一个“补全文档”的模型。如果你想让基座模型来回答问题,就必须假装输 ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览