LLM实践系列-昇腾910B上进行Qwen2.5推理

文章预览

现在做toB项目，被问的最多的就是支不支持国产化。现在一般用的最多的也是华为昇腾系列显卡。 今天给大家带来一篇利用GPUStack框架在昇腾910B上进行Qwen2.5推理部署的实战。 配置昇腾环境 确认昇腾 NPU 驱动已安装： npu-smi info 根据架构下载对应的 CANN Toolkit 包（开发套件）和对应芯片的 Kernel 包（CANN 算子 https://www.hiascend.com/zh/software/cann/community-history） ： wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run 安装 Toolkit，按提示操作： sudo sed -i 's/user=true/user=false/' ~/.pip/pip.conf sudo chmod +x Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run  & &  sudo ./Ascend-cann-toolkit_8.0.RC3.alpha0 ………………………………