专栏名称: 深度学习与NLP
专注深度学习、NLP相关技术、资讯,追求纯粹的技术,享受学习、分享的快乐。
今天看啥  ›  专栏  ›  深度学习与NLP

微软开源MarkitDown,RAG文档解析就这么解决了~

深度学习与NLP  · 公众号  ·  · 2024-12-19 11:00
    

文章预览

RAG有这么一个说法:“垃圾进,垃圾出”,文档解析与处理以获取高质量数据至关重要。近期,微软开源了 MarkItDown ,一款将各种文件转换为 Markdown 的实用程序(用于索引、文本分析等)。 https://x.com/shao__meng/status/1867348058662744236 MarkItDown 支持 : PDF PPT Word Excel 图像(EXIF 元数据和 OCR) 音频(EXIF 元数据和语音转录) HTML 基于文本的格式(CSV、JSON、XML) ZIP 文件 MarkItDown使用 使用 pip: pip install markitdown。或者,从源代码安装它:pip install -e . Python中的基本用法: from markitdown import MarkItDown md = MarkItDown() result = md.convert( "test.xlsx" ) print(result.text_content) 要使用大型语言模型进行图像描述,请提供llm_client和llm_model: from  markitdown  import  MarkItDown  from  openai  import  OpenAI client = OpenAI()  md = MarkItDown(llm_client=client, llm_model= "gpt-4o" ) result = md.convert( "example ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览