文章预览
最近在给我们的客户私有化部署我们的TorchV系统，客户给的资源足够充裕，借此机会记录下部署千问72B模型的过程，分享给大家！ 一、基础信息 操作系统 ： Ubuntu 22.04.3 LTS GPU: A800(80GB) * 8 内存 ：1TB 二、软件信息 Python: 3.10 Pytorch：2.3.0 Transformers：4.43.0 vLLM：0.5.1 cuda：12.2 模型: QWen2-72B-Instruct 三、安装步骤 1、安装Conda Conda 是一个开源的包管理系统和环境管理系统，旨在简化软件包的安装、配置和使用 对于Python环境的部署，能够非常方便的切换环境。 可以通过conda官网链接下载安装： https://www.anaconda.com/download#downloads # 下载 wget https://repo.anaconda.com/archive/Anaconda3-2023.09-0-Linux-x86_64.sh # 安装 bash Anaconda3-2023.09-0-Linux-x86_64.sh # 配置环境变量 echo 'export PATH="/path/to/anaconda3/bin:$PATH"' >> ~/.bashrc source ~/.bashrc 安装完成后，通过命令验证安装是否成功 conda
………………………………
