专栏名称: 机器学习社区
公众号后台回复:加群,参与技术讨论,专注前沿人工智能、机器学习、Python开发
今天看啥  ›  专栏  ›  机器学习社区

实战经验:在昇腾 910B 上进行 Qwen2.5 推理

机器学习社区  · 公众号  ·  · 2024-11-11 08:12
    

文章预览

↓ 推荐关注↓ 现在做toB项目,被问的最多的就是支不支持国产化。现在一般用的最多的也是华为昇腾系列显卡。 今天给大家带来一篇利用GPUStack框架在昇腾910B上进行Qwen2.5推理部署的实战。 配置昇腾环境 确认昇腾 NPU 驱动已安装: npu-smi info 根据架构下载对应的 CANN Toolkit 包(开发套件)和对应芯片的 Kernel 包(CANN 算子 https://www.hiascend.com/zh/software/cann/community-history) : wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run wget https://ascend-repo.obs.cn-east-2.myhuaweicloud.com/Milan-ASL/Milan-ASL%20V100R001C19SPC703/Ascend-cann-kernels-910b_8.0.RC3.alpha003_linux-aarch64.run 安装 Toolkit,按提示操作: sudo sed -i 's/user=true/user=false/' ~/.pip/pip.conf sudo chmod +x Ascend-cann-toolkit_8.0.RC3.alpha003_linux-aarch64.run  & &  sudo ./Ascend-cann-to ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览