LMDeploy Windows 平台最佳实践

文章预览

Windows 是全球范围内最流行的操作系统之一，许多企业和个人用户都在使用 Windows 系统。通过在 Windows 系统上支持 LLM 的推理，许多办公软件、聊天应用等都可以受益于 LLM 的技术，为用户提供更智能、更个性化的服务。 LMDeploy 支持在 Windows 平台进行部署与使用，本文会从以下几个部分，介绍如何使用 LMDeploy 部署 internlm2-chat-1_8b 模型。 环境配置 LMDeploy Chat CLI 工具 LMDeploy pipeline (python) LMDeploy serving LMDeploy 项目链接 https://github.com/InternLM/lmdeploy （文末点击阅读原文可直达， 觉得不错，欢迎点亮小星星） 环境配置 安装显卡驱动 & CUDA Toolkit 下载链接： https://developer.nvidia.com/cuda-12-1-1-download-archive?target_os=Windows _arch=x86_64 成功安装后，打开 Powershell 后，环境变量 CUDA_PATH 不为空。 安装 LMDeploy conda create -n lmdeploy python=3.10 conda activate lmdeploy pip install lmdeploy --ext ………………………………