【学习LangChain】05. RAG进阶 - Embeddings & Loaders

文章预览

RAG：深入探索 Embeddings 首先我们来看看embeddings。Embeddings(嵌入)是将一段文字变换到向量空间的方式，从而可以将语义上相近的文本映射到距离相近的向量上。除了上面提到的 OpenAIEmbedding ，LangChain还集成了非常多其他第三方提供的embedding模型，包括Cohere、Hugging Face等等，完整支持列表可以参考链接🔗 LangChain的Embeding类提供两个不同的方法：embed_documents和embed_query；前者可以工作在多个文档上，后者工作在单个文档上。下面以OpenAI为例： from  langchain_openai  import  OpenAIEmbeddings embeddings_model = OpenAIEmbeddings(model= "text-embedding-3-small" ) text =  'I love programming.' emd_query = embeddings_model.embed_query(text) emd_docs = embeddings_model.embed_documents([text]) len(emd_query), len(emd_docs), len(emd_docs[ 0 ]), type(emd_query), type(emd_query[ 0 ]) (1536, 1, 1536, list, float) 可见， OpenAIEmbeddings 会将一 ………………………………