Uber Debuts GenAI Gateway Mimicking OpenAI API Supports Over 60 LLM Use Cases

作者：Rafal Gancarz

译者：马可薇

策划：Tina

2024-09-30T02:56:11.000Z

Uber 为服务外部供应商及自托管的大语言模型（LLM）而创建了一个统一的平台——GenAI 网关。该平台支持 60 多个不同的 LLM 用例，为公司内部的采用提供了统一且高效的接口。Uber 是大语言模型（LLM）的早期采用者之一，多个团队致力于将 AI 驱动的功能融入到流程自动化、客户支持和内容生成等各个领域。然而，不同的集成类型也导致了工作的重复和方法的不统一。为应对这些挑战，Uber 决定将大模型相关的服务集中到 GenAI 网关这一项服务中。

统一平台：简化集成流程

Uber 高级软件工程师 Tse-Chi Wang 和 Roopansh Bansal 解释了创建 GenAI 网关的原因。GenAI 网关旨在简化团队在项目中集成大模型的工作流程，简化载入流程减少了团队的工作量，为利用大语言模型的强大功能提供了清晰且直接的途径。此外，工程安全团队所提供的标准化审核流程会根据 Uber 的数据标准审查用例，审核通过后才能访问网关。

选择 OpenAI API：简化与开源库的集成

出于 LangChain 和 LlamaIndex 等开源库的广泛采用和高可用性，Uber 团队选择在网关中使用 OpenAI API。通过镜像这一知名的应用程序接口，可以简化载入流程，扩大网关的负载范围。GenAI 网关是一项用 Go 语言编写的、位于服务层中的服务，结合了外部（OpenAI、Vertex AI）、内部的大语言模型和许多通用的能力（如验证和账户管理、缓存、可观测性和监控）。

减少个人身份信息 (PII) 的挑战

在将请求转发至第三方供应商之前，Uber 要确保请求中的 PII 数据是经过匿名处理的，以避免敏感数据的暴露风险。然而，从另一方面来说，PII 的减少可能会导致请求中丢失重要上下文信息，从而让大语言模型无法提供有用的回复。此外，数据的减少对大语言模型的缓存和检索增强生成（RAG）来说也是个问题。为应对这些挑战，Uber 团队鼓励使用 Uber 托管的大语言模型或是考虑依赖第三方供应商提供的安全保障。

GenAI 网关架构图

GenAI 网关的架构图（来源：Uber Engineering Blog）展示了其内部的复杂性，包括外部（OpenAI、Vertex AI）和内部的大语言模型的集成，以及通用能力如验证和账户管理、缓存、可观测性和监控。

结论

GenAI 网关不仅简化了 Uber 团队在项目中集成大语言模型的工作流程，还通过标准化审核流程确保了数据的安全性。通过镜像 OpenAI API，Uber 能够扩大网关的负载范围，并支持多种大语言模型的用例。然而，减少 PII 的挑战依然存在，需要团队在数据安全与模型性能之间找到平衡。未来，GenAI 网关将继续为 Uber 及其他企业提供高效且安全的大语言模型集成解决方案。

参考文献