专栏名称: AI工程化
专注于AI领域(大模型、MLOPS/LLMOPS 、AI应用开发、AI infra)前沿产品技术信息和实践经验分享。
今天看啥  ›  专栏  ›  AI工程化

非广告免费使用Qwen2.5 72B等付费模型的方法来了,很实用!

AI工程化  · 公众号  ·  · 2024-10-14 13:15

文章预览

想要使用大模型,但又没条件自建,也不想使用云服务付费的朋友,当前使用 硅基流动 [1] 已经可以使用很多免费的模型,但是比如Qwen2.5 72B 这类还是需要付费的,本文介绍一个实用项目,让我们能够免费使用 Hugging Face 上的强大模型,如 Qwen2.5 72B 等。这个项目支持 Docker 部署,也可以进一步使用 Cloudflare Workers 方式部署,解决国内访问 Hugging Face 的网络不稳定的问题。 项目简介 该项目提供了一个 Hugging Face API 代理服务,支持多个模型,并兼容 OpenAI API 格式。主要特点包括: 支持多种 Hugging Face 模型 兼容 OpenAI API 请求格式 支持流式和非流式响应 可通过 Docker 容器化部署 Docker 部署方法 拉取 Docker 镜像: docker pull oozzbb/hg2api:latest 运行 Docker 容器: docker run --name hg2api --restart always -p 5023:5000 -e HUGGINGFACE_API_KEY=hg_xxx -e API_KEY=sk-1234567890 oozzbb/hg2api: ………………………………

原文地址:访问原文地址
快照地址: 访问文章快照
总结与预览地址:访问总结与预览