【文档智能 & RAG】RAG增强之路：增强PDF解析并结构化技术路线方案及思路

文章预览

前言 现阶段，尽管大模型在生成式问答上取得了很大的成功，但由于大部分的数据都是私有数据，大模型的训练及微调成本非常高，RAG的方式逐渐成为落地应用的一种重要的选择方式。然而，如何准确的对文档进行划分chunks，成为一种挑战，在现实中，大部分的专业文档都是以 PDF 格式存储，低精度的 PDF 解析会显著影响专业知识问答的效果。因此，本文将介绍针对pdf，介绍一些pdf结构化技术链路供参考。 一、可编辑文档 对于可编辑文档，常使用pdf解析工具对其进行解析，常见的解析工具及方法总结可以参考往期文章总结： 《 【预处理】大模型下开源文档解析工具总结及技术思考 》 1.1 语义分段 经pdf解析工具后，原始文档的段落信息全部丢失，需要进行段落的划分和重组。下面介绍一种语义分段模型的训练思路和一种开源的分段模型。 语义 ………………………………