Qwen2-VL微调工具

文章预览

项目简介 Qwen2-VL 很棒，相信很多人想在其上继续开发或者改造适配为VLA（Vision Language Action）模型（没错，改造为控制机器人的大模型），但官方在我写这个repo的时候，还没有给出一份简洁的微调或者再训练的代码。 注：官访给了一个使用LLaMA-Factory方式微调Qwen2-VL的方法，我尝试了一下，发现LLaMA-Factory过于黑盒，概念很多，甚至有点冗余。我自己喜欢简单透明的代码，所以自己写了一份微调Qwen2-VL的代码，希望对喜欢自己写train-loop的同学有帮助。 快速开始微调或者再训练Qwen2-VL 2B模型 % git clone https://github.com/zhangfaen/finetune-Qwen2-VL % cd finetune-Qwen2-VL % conda create --name qwen2-VL python=3.10 % conda activate qwen2-VL % pip install -r requirements.txt 我提供了2个微调脚本，一个用于单GPU训练，一个用于多GPU训练。本repo的目的是帮助大家快速上手微调Qwen2-VL，所以只准备了 ………………………………