从零到一使用 Ollama、Dify 和 Docker 构建 Llama 3.1 模型服务

文章预览

本篇文章聊聊，如何使用 Ollama、Dify 和 Docker 来完成本地 Llama 3.1 模型服务的搭建。 如果你需要将 Ollama 官方不支持的模型运行起来，或者将新版本 llama.cpp 转换的模型运行起来，并且想更轻松的使用 Dify 构建 AI 应用，那么本文或许会对你有所帮助。 写在前面 最近这阵比较忙，线下见了非常多不同地区的朋友，围绕 Dify 和开源社区做了不少应用和实践分享。 可爱的 Ollama 项目 不论是 Dify 生态还是其他的软件生态，越来越多的朋友开始使用 Ollama 来了解模型。不过更多时候，我们见到的是“下载预制菜”使用的玩法， 如果我们本地有微调好的模型，又该如何运行呢？ 以及，在最近 Llama.cpp 的一次版本发布中， 支持了 Llama 3.1 的“rope scaling factors” [1] 特性后， 新换后的通用模型，其实并不能够被 Ollama 直接启动运行，那么又该怎么处理呢？ 为了解决 ………………………………