四个大模型轻量级微调训练框架：兼看PPT转Markdown工具

文章预览

今天是2024年7月27日，星期六，北京，天气雨。 今天来看两个问题： 一个是 当前的四个微调训练框架，可以看看各自的特点 。 一个是 文档智能工具-PPT转Markdown工具的一些实现逻辑 ，实现都很简单。 供大家一起参考并思考，持续学习，做原理性的思考。 问题1：当前的四个微调训练框架 1、Firefly 地址：https://github.com/yangjianxin1/Firefly 其给出了训练数据的情况： 支持预训练、指令微调、DPO，支持全量参数训练、LoRA、QLoRA高效训练。通过配置文件的方式训练不同的模型，小白亦可快速上手训练模型。 支持使用Unsloth加速训练，并且节省显存。 支持绝大部分主流的开源大模型，如Llama3、Gemma、MiniCPM、Llama、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen、Orion、Ziya、Xverse、Mistral、Mixtral-8x7B、Zephyr、Vicuna、Bloom，训练时与各个官方的chat模型的template对齐。 整理并 ………………………………