【RAG】FastEmbed：一种轻量的快速文本嵌入工具

文章预览

前言 在进行文本嵌入时，尤其是RAG系统，有一个快速高效的文本嵌入工具是非常有必要的。因此，FastEmbed设计目标是提升计算效率，同时保持嵌入表示的质量。此外，FastEmbed还支持一些图像嵌入模型。 FastEmbed暂时支持模型一览（截止2024.08.20） 特点： 高效的计算速度，适合大规模数据处理；使用ONNX Runtime实现最优性能。 低资源消耗，适用于多种设备和环境。FastEmbed刻意减少了对外部资源的依赖，并选择了ONNX Runtime作为其运行时框架。 灵活性强，可应用于不同的 NLP 任务。 兼容GPU，支持GPU加速计算，进一步提升效率。 使用 安装 # CPU版 pip install fastembed # GPU版 pip install fastembed-gpu from  fastembed  import  TextEmbedding from  typing  import  List # Example list of documents documents: List[str] = [      "This is built to be faster and lighter than other embedding libraries ………………………………