开源、免费的企业私有大模型即服务平台

文章预览

  GPUStack 是面向企业私有大模型服务而设计的企业级开源软件，具备建设一个企业私有大模型即服务平台所需要的各项功能，包括 GPU 管理、推理引擎及推理加速、使用和计量、性能度量和记录、认证授权和访问控制、OpenAI 兼容的 API 以及 Dashboard 仪表板。只需要非常简单的安装设置，就可以开箱即用地构建企业的私有大模型即服务平台。 功能介绍 异构 GPU 支持 ：支持异构 GPU 资源，当前支持 Nvidia、Apple Metal 和摩尔线程的 GPU，华为昇腾 NPU、AMD GPU 等的支持也在进行中 多推理后端支持 ：支持 vLLM 和 llama.cpp 推理后端，兼顾生产性能需求与多平台兼容性需求 多平台支持 ：支持 Linux、Windows 和 macOS 平台，完整覆盖 amd64 和 arm64 架构 多模型类型支持 ：支持 LLM 文本模型、VLM 多模态模型、Embedding 文本嵌入模型，Reranker 重排序模型、语音模型、图像模 ………………………………