文章预览
01 引言 GLM-4-9B 及 CodeGeeX4-ALL-9B 现已支持Ollama部署。 GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中, GLM-4-9B 在各项能力上均表现出卓越的能力。 GGUF模型链接: https://modelscope.cn/models/LLM-Research/glm-4-9b-chat-GGUF CodeGeeX4-ALL-9B 是最新的 CodeGeeX4 系列模型的开源版本。该模型是在 GLM-4-9B 基础上持续训练的多语言代码生成模型,显著提升了代码生成能力。 GGUF模型链接: https://www.modelscope.cn/models/LLM-Research/codegeex4-all-9b-GGUF 02 最佳实践 环境配置与安装 本文主要演示的模型推理代码可在 魔搭社区免费实例PAI-DSW 的配置下运行(长期免费CPU环境) : 点击模型左侧Notebook快速开发按钮,选择CPU环境 GGUF模型下载: glm-4-9b-chat-GGUF modelscope download --model=LLM-Research/glm- 4 -9b-chat-GGUF --l
………………………………