【search-o1】大模型的推理

文章预览

1. 前言 大家好，我是西西嘛呦。 最近，Deepseek-R1以及Manus是火出了圈，这段时间陆陆续续在进行关于LLM结合搜索引擎的事，现在准备把这一系列的工作记录下来。主要是分为四个部分： （1）【search-o1】大模型的推理 （2）【search-o1】利用RAG进行检索问答 （3）【search-o1】利用Agent结合搜索引擎进行问答 （4）【search-o1】使用search-o1方法进行智能检索问答 接下来我们先来介绍第一个部分：【search-o1】大模型的推理。这里不过多介绍里面的具体细节，而是更关注于怎么使用。 2. 大模型的推理 2.1 使用transformers进行推理 目前，transformers是使用的最广泛的模型库，像Qwen、Deepseek等一系列模型都可以使用transformers库直接加载进行推理。一些论文在实验的过程中也是直接用这种方式进行的（虽然可能推理速度没有大模型推理框架快）。我们直接来看一个例子： ………………………………