DeepSeek在昇腾上的模型部署-优秀实践

文章预览

OSCHINA ↑点击蓝字 关注我们 2024年12月26日，DeepSeek-V3横空出世，以其卓越性能备受瞩目。该模型发布即支持昇腾，用户可在昇腾硬件和MindIE推理引擎上实现高效推理，但在实际操作中，部署流程与常见问题困扰着不少开发者。 本文将为你详细阐述昇腾DeepSeek模型部署的优秀实践。 昇腾DeepSeek模型部署的常见问题及解决方案见： DeepSeek在昇腾上的模型部署 - 常见问题及解决方案 https://modelers.cn/updates/zh/modelers/20250226-deepseek-bestpractice-acend-deploy-part2/ 01 硬件要求及组网 推荐参考配置如下，部署DeepSeek-V3/R1量化模型至少需要多节点Atlas 800I A2（8*64G）服务器。 本方案以DeepSeek-R1为主进行介绍，DeepSeek-V3与R1的模型结构和参数量一致，部署方式与R1相同。 02 运行环境准备  推荐使用镜像部署 1、镜像部署 昇腾官方在Ascend hub提供环境示例镜像，含推理部署配套软件 ………………………………