主要观点总结
本文介绍了Uber创建GenAI网关以支持多达60个不同的LLM用例的决策背景和实现过程。通过镜像OpenAI的API，GenAI网关提供一致且高效的接口，简化团队在项目中集成大模型的工作流程。同时，Uber团队也面临诸如个人身份信息处理、数据减少对大语言模型的影响等挑战，并给出了应对措施。文章还通过一个案例研究展示了大语言模型在客服领域的应用效果。
关键观点总结
关键观点1: GenAI网关的创建背景
Uber是大语言模型（LLM）的早期采用者之一，为便于内部采用而选择了镜像OpenAI的API，创建GenAI网关以简化团队在项目中集成大模型的工作流程。
关键观点2: GenAI网关的功能和特点
GenAI网关提供一致且高效的接口，为多个领域内的60多个不同的LLM用例提供服务。它结合了外部（OpenAI、Vertex AI）和内部的大语言模型，以及许多通用的能力（如验证和账户管理等）。
关键观点3: Uber面临的挑战和应对措施
Uber在集成大语言模型时面临个人身份信息处理、数据减少对大语言模型的影响等挑战。为确保敏感数据的隐私安全，Uber团队确保请求中的个人身份信息经过匿名处理。同时，团队也鼓励使用Uber托管的大语言模型或依赖第三方供应商的安全保障。
关键观点4: 大语言模型在客服领域的应用效果
通过一个案例研究展示了大语言模型在客服领域的应用效果，通过生成聊天内容总结提高客服运营效率，生成的总结有97%被客服认为有用。
文章预览
作者 | Rafal Gancarz
译者 | 马可薇
策划 | Tina Uber 为服务外部供应商及自托管的大语言模型而创建的统一平台，为便于内部的采用而选择了镜像 OpenAI 的 API。GenAI 网关提供了一致且高效的接口，可为多个领域内的 60 多个不同的 LLM 用例提供服务。 Uber 是大语言模型（LLM）最早的一批采用者之一， 公司内有多个团队专注于将以 AI 驱动的功能融入到流程自动化、客户支持和内容生成等各个领域之中。然而，不同的集成类型也导致了工作的重复和方法的不统一。为应对这些挑战，Uber 决定将大模型相关的服务集中都在 GenAI 网关这一项服务中。 Uber 高级软件工程师 Tse-Chi Wang 和 Roopansh Bansal 解释了创建网关的原因： GenAI 网关是为简化团队在项目中集成大模型的工作流程，简易的载入流程减少了团队的工作量，为利用大语言模型强大的功能提供了清晰且
………………………………
