大模型训练研发工具总结：数据Data处理及文档解析、微调Fine-Tuning及推理Inference应用搭建工具包

文章预览

今天是2024年9月16日，星期一，中秋假期第二天，北京，天气晴。 各位节日快乐！ 今天说三 件事，一个是 老刘的RAG小课堂开始啦！从朴素RAG到KG增强RAG再到文档解析三阶段 ，欢迎关注 。 一个是回顾下20240914大模型进展早报，可以看看当前关于数据、网页及诶、不同粒度索引生成、Agent、开源模型等进展，如下： 第三件事， 我们继续做相关总结，分享一个有趣的好项目 ，昨日看到一个工作，awesome-LLM-resourses(https://github.com/WangRongsheng/awesome-LLM-resourses)，涵盖了数据集、微调、推理、评估、RAG（检索增强生成）、Agents（智能体）、书籍、教程、论文等资源，感兴趣的可以看看。 本文主要对其中所涉及到的 大模型专题，从大模型数据Data及文档解析工具、一些微调Fine-Tuning的工具包以及一些推理Inference及应用搭建工具包三个角度做介绍 ，供大家一起参考 ………………………………