千问LLM：在家也能养“大脑”：本地运行大型语言模型的奇妙之旅

文章预览

做LLM，如果没有亲自实践过，就不能说懂它。 之前在本地部署LLM很困难，一）是开源的模型都很大，么有GPU跑不起来，二）是，部署起来太复杂，需要手动准备很多，解决很多包依赖的问题。 经过很多人的努力并且花了好多钱后，大家开始明白过来，对于LLM来说，不能单纯的追求大的参数了， 大的参数训练和推理都太烧钱了 ，甚至 OpenAI这样的公司都烧不起钱了 ，很多公司相继开源了很多小参数的模型，在这些利好的情况下，本地部署一个LLM现在变得可行了。 想象一下，你的电脑里住着一个无所不知的‘大脑’，它不仅能陪你聊天，还能帮你写报告、做计划 ， 这很酷 。 所以AI 电脑，AI手机，AI Pad 已经到来。 0 1 — 两步把“大脑”搬进冰箱 跟我来，只需 两步 把大脑搬进冰箱，开启 本地部署大模型之旅 吧。 步骤1）下载 Ollama 客户端 （ https://g ………………………………