开放协作将 AI Gateway 功能带入 Envoy 社区

文章预览

成员帖子，最初发表于 Tetrate 博客 [1] 行业正在迎接生成式 AI 功能，我们需要进化在行业范围内处理流量的方式。将 AI 流量处理功能仅限于企业许可证，实际上不符合行业的需求。这种做法限制了对单一商业实体及其客户的激励。即使是单一公司的开源倡议，也未能促进多公司之间的开放协作。 这样的共同挑战为开放协作提供了机会，以构建所需的功能。我们相信，通过开放协作汇集不同的用例和需求，将促成更好的解决方案并加速创新。行业将通过跨公司和行业的开放协作而受益于多样化的专业知识和经验。 因此，Tetrate 和 Bloomberg 开始了一项开放协作，旨在为这一新纪元的生成式 AI 集成带来关键功能。我们将在 Envoy 社区中开放协作，通过 Envoy Gateway 和 Envoy Proxy 将 AI 流量处理功能引入 Envoy。 我们为何需要 AI 流量处理功能 LLM 模型的流量与传 ………………………………