使用 ollama 快速部署 InternLM2.5！

文章预览

ollama 是一个用于部署和管理 LLMs 的工具，它可以帮助用户轻松地将复杂的模型部署到生产环境中。本文将介绍在 Linux 系统下如何使用 ollama 快速部署 InternLM2.5。 https://github.com/InternLM/InternLM （文末点击阅读原文可直达， 觉得好用欢迎点亮小星星） 环境配置 ollama 安装 使用如下 shell 脚本下载并安装 ollama。脚本执行成功后，可以在终端执行 ollama --version， 输出 ollama 版本号说明已成功安装。 curl -fsSL https://ollama.com/install.sh | sh 服务配置 ollama 安装成功后默认会开启服务。如果未启动服务，可以执行 ollama serve 启动服务。如果要修改服务端口号，或者 GPU 运行设备等配置，则需要修改 ollama 服务配置文件并重启服务。可执行 sudo systemctl edit ollama.service 修改服务配置，参考内容如下： [Service] Environment="OLLAMA_HOST=0.0.0.0:11434" Environment="CUDA_VISIBLE_DEVICES=1,2" 然后执 ………………………………