文章预览
前言 AI新时代，提高了生产力且能帮助用户快速解答问题，现在用的比较多的是Openai、Claude，为了保证个人隐私数据，所以尝试本地（Mac M3）搭建Llama模型进行沟通。 Gpt4all 安装比较简单，根据https://github.com/nomic-ai/gpt4all下载客户端软件即可，打开是这样的： 然后选择并下载模型文件，这里以Llama为例： 下载模型文件完，选择模型文件则可以进行对话了： 也可以利用基于 nomic-embed-text嵌入模型，把文档转成向量方便语义检索和匹配。选择文档所在的目录： 然后对话中选择对应的文档即可： 如果文件太大，需要在设置适当添加token大小，太大也不好，处理会慢且机器会卡死： gpt4all使用起来还是比较方便的，但是有几个缺点：有些能在huggingface.co搜到的模型在gpt4all上面搜不到、退出应用后聊天记录会消失。 Ollama 安装也很方便，下载https://ollama.com/downl
………………………………
