文章预览
项目简介 Important 在v0.7.0以后在配置方面会有较大调整，并与之前版本不兼容。通过UI配置起来会更加方便，且提供了更强大的配置选项。 OpenAI-Forward 是为大型语言模型实现的高效转发服务。其核心功能包括 用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等，旨在提供高效、便捷的模型转发服务。无论是代理本地语言模型还是云端语言模型，如 LocalAI 或 OpenAI，都可以由 OpenAI Forward 轻松实现。得益于 uvicorn, aiohttp, 和 asyncio 等库支持，OpenAI-Forward 实现了出色的异步性能 主要特性 全能转发：可转发几乎所有类型的请求 性能优先：出色的异步性能 缓存AI预测：对AI预测进行缓存，加速服务访问并节省费用 用户流量控制：自定义请求速率与Token速率 实时响应日志：提升LLMs可观察性 自定义秘钥：替代原始API密钥 多目标路由：转
………………………………
