文章预览
推荐一个LLM资源汇总项目： awesome-LLM-resourses 链接： https://github.com/WangRongsheng/awesome-LLM-resourses 以下来自该项目主页。 全世界最好的大语言模型资源汇总 持续更新 Contents 数据 Data 微调 Fine-Tuning 推理 Inference 评估 Evaluation 体验 Usage RAG Agents 搜索 Search 书籍 Book 课程 Course 教程 Tutorial 论文 Paper Tips 数据 Data Note 此处命名为 数据 ，但这里并没有提供具体数据集，而是提供了处理获取大规模数据的方法 我们始终秉持授人以鱼不如授人以渔 AotoLabel: Label, clean and enrich text datasets with LLMs. LabelLLM: The Open-Source Data Annotation Platform. data-juicer: A one-stop data processing system to make data higher-quality, juicier, and more digestible for LLMs! OmniParser: a native Golang ETL streaming parser and transform library for CSV, JSON, XML, EDI, text, etc. MinerU: MinerU is a one-stop, open-source, high-quality data extraction tool, supports PDF/we
………………………………
