本地运行！全国产化AI工作站部署DeepSeek R1模型实战

文章预览

本地运行！ 全国产化AI工作站部署DeepSeek R1模型实战 国产之光DeepSeek最近热度不断，研扬近期推出的全国产化高性能工作站（华为鲲鹏+昇腾）可以流畅运行DeepSeek系列蒸馏推理模型，使客户能以极低的成本在本地运行大模型推理任务，保护敏感数据，避免断网风险，高效快速的进行智能化升级。 硬件配置 研扬AIWS-8650高性能AI工作站 CPU：华为鲲鹏920S，32核，2.6GHz，64GB运行内存 AI算力：华为昇腾Atlas 300I Duo卡（96G）*2 操作系统：OpenEuler（已兼容Ubuntu，Kylin，CTyunOS等版本） 模型：DeepSeek-R1-Distill-Qwen-14B（FP16） 推理模型 DeepSeek R1除了671B参数的全量模型之外，还通过 DeepSeek-R1 的输出，蒸馏出了6 个性能优异的小模型。 我们选取了DeepSeek-R1-Distill-Qwen-14B这个精度和对硬件配置要求相对平衡的蒸馏模型进行适配和部署。 部署步骤 模型下载： https://hf-mirror.com/deep ………………………………