351. 通过 ChatNio 让大模型联网

文章预览

最早是从 webui + ollama 这个组合开始接触本地大模型，所以，webui 一直是与大模型对话的默认界面。 之前的这一期（ 322.搭建本地搜索模块：让本地大模型访问互联网 ），曾提到过在 webui 上，让大模型具有上网功能的一个方法，当时的结论是，上网不稳定，有时大模型拒绝上网。 回到本期，偶然发现了一个可以通过 ChatNio 让大模型联网的方法。 事先说下，这个方法比 webui 的联网要稳定一些，但也并不是百分之百每次都能联网。 为啥有时能联网、有时不能，具体原因不清楚 ... ChatNio 打开镜像，和 webui 做个对比 ... ChatNio 需要三个镜像：chatnio、mysql、redis，加起来不到 700MB，而单独一个 webui 就有 4.2GB。 本地部署 ChatNio 本地部署 ChatNio 的 docker-compose 放在本文的最后。 下面是设置的部分。 当然，条件是本地先安装了 ollama 大模型，在之前的这一期中（ ………………………………