在昇腾 910B 上部署轻量级和跨平台大模型 Agent

文章预览

昇腾 910B 是中国市场上  Nvidia H100 的热门替代 [1] 。虽然它是 AI 训练工作负载的强大引擎，但我们最感兴趣的是它的推理性能。随着新的昇腾NPU 面向 边缘设备 [2] 发布，这一点尤其重要。 最近，华为慷慨捐赠了 5 台裸机服务器，每台配备 8卡昇腾 910B，以支持  GOSIM [3] Super Agent 黑客马拉松活动。这些机器每台售价超过 10 万美元。我们为参赛的学生团队提供了与 OpenAI 兼容的 API 服务，用于这些 热门的 LLM [4]  机器。其超大 VRAM（64GB）使我们能够在每个昇腾 910B NPU 上运行 70B LLM（量化到了 4 bit）。 Agent  黑客马拉松使用  MoFA [5]  和 LangChain等 LLM  Agent 框架，每天消耗数千万个 token，而这些 NPU 轻松应对。本文中，我们将讨论使用昇腾 910B 的经验，并提供有关如何在此硬件上设置和运行 LLM 的详细教程。 轻量级和跨平台的 LLM 应用 开源 LLM 的主要应用 ………………………………