【LLM开源项目】LLMs-微调框架-LLaMA-Factory微调量化部署v4.0

文章预览

【#】文章目录 【1】前置准备 【2】原始模型直接推理 【3】自定义数据集构建 【4】基于LoRA的sft指令微调 【5】动态合并LoRA的推理 【6】批量预测和训练效果评估 【7】LoRA模型合并导出 【8】一站式webui board的使用 【9】API Server的启动与调用 【10】进阶-大模型主流评测 benchmark 【11】进阶-导出GGUF，部署Ollama 【1】前置准备 训练顺利运行需要包含4个必备条件: 1.机器本身的硬件和驱动支持（包含显卡驱动，网络环境等） 2.本项目及相关依赖的python库的正确安装（包含CUDA， Pytorch等） 3.目标训练模型文件的正确下载 4.训练数据集的正确构造和配置 1.机器本身的硬件和驱动支持（包含显卡驱动，网络环境等） 这里采用GPU：1*RTX-3090 -24G 2.本项目及相关依赖的python库的正确安装（包含CUDA， Pytorch等） 环境：PyTorch2.2.0/Python3.10(ubuntu22.04)/cuda12.1.1【重要】 CUDA和 ………………………………