本地LLM & VLM性能评测

文章预览

作为一名数据工程师，我对测试一些生成式 AI 模型并在本地安装/运行模型很感兴趣。大型语言模型 (LLM) 和视觉语言模型 (VLM) 是最有趣的。OpenAI 提供了 ChatGPT 网站和移动应用程序。微软创建了 Windows 11 Copilot 供我们使用。但是，我们无法控制哪些数据被发送到互联网并存储在他们的数据库中。他们的系统不是开源的，就像神秘的黑匣子一样。 1、LLM & VLM模型选择和评测环境 一些慷慨的公司（如 Meta 和 Mistral AI）或个人开源了他们的模型，活跃的社区逐层构建工具，以便我们可以轻松地在家用电脑上运行 LLM 和 VLM。本文（在 Raspberry Pi 上运行本地 LLM 和 VLM）测试了具有 8GB RAM 的 Raspberry Pi 5。它是一台信用卡大小的小型单板计算机 (SBC)。我希望找到更便宜的计算机/解决方案或虚拟机来测试生成令牌或字符的性能，以便它能为我或普通大众提供物有所 ………………………………