Customize Consent Preferences

We use cookies to help you navigate efficiently and perform certain functions. You will find detailed information about all cookies under each consent category below.

The cookies that are categorized as "Necessary" are stored on your browser as they are essential for enabling the basic functionalities of the site. ... 

Always Active

Necessary cookies are required to enable the basic features of this site, such as providing secure log-in or adjusting your consent preferences. These cookies do not store any personally identifiable data.

No cookies to display.

Functional cookies help perform certain functionalities like sharing the content of the website on social media platforms, collecting feedback, and other third-party features.

No cookies to display.

Analytical cookies are used to understand how visitors interact with the website. These cookies help provide information on metrics such as the number of visitors, bounce rate, traffic source, etc.

No cookies to display.

Performance cookies are used to understand and analyze the key performance indexes of the website which helps in delivering a better user experience for the visitors.

No cookies to display.

Advertisement cookies are used to provide visitors with customized advertisements based on the pages you visited previously and to analyze the effectiveness of the ad campaigns.

No cookies to display.

0

作者:Rafal Gancarz

译者:马可薇

策划:Tina

2024-09-30T02:56:11.000Z

Uber 为服务外部供应商及自托管的大语言模型(LLM)而创建了一个统一的平台——GenAI 网关。该平台支持 60 多个不同的 LLM 用例,为公司内部的采用提供了统一且高效的接口。Uber 是大语言模型(LLM)的早期采用者之一,多个团队致力于将 AI 驱动的功能融入到流程自动化、客户支持和内容生成等各个领域。然而,不同的集成类型也导致了工作的重复和方法的不统一。为应对这些挑战,Uber 决定将大模型相关的服务集中到 GenAI 网关这一项服务中。

统一平台:简化集成流程

Uber 高级软件工程师 Tse-Chi Wang 和 Roopansh Bansal 解释了创建 GenAI 网关的原因。GenAI 网关旨在简化团队在项目中集成大模型的工作流程,简化载入流程减少了团队的工作量,为利用大语言模型的强大功能提供了清晰且直接的途径。此外,工程安全团队所提供的标准化审核流程会根据 Uber 的数据标准审查用例,审核通过后才能访问网关。

选择 OpenAI API:简化与开源库的集成

出于 LangChain 和 LlamaIndex 等开源库的广泛采用和高可用性,Uber 团队选择在网关中使用 OpenAI API。通过镜像这一知名的应用程序接口,可以简化载入流程,扩大网关的负载范围。GenAI 网关是一项用 Go 语言编写的、位于服务层中的服务,结合了外部(OpenAI、Vertex AI)、内部的大语言模型和许多通用的能力(如验证和账户管理、缓存、可观测性和监控)。

减少个人身份信息 (PII) 的挑战

在将请求转发至第三方供应商之前,Uber 要确保请求中的 PII 数据是经过匿名处理的,以避免敏感数据的暴露风险。然而,从另一方面来说,PII 的减少可能会导致请求中丢失重要上下文信息,从而让大语言模型无法提供有用的回复。此外,数据的减少对大语言模型的缓存和检索增强生成(RAG)来说也是个问题。为应对这些挑战,Uber 团队鼓励使用 Uber 托管的大语言模型或是考虑依赖第三方供应商提供的安全保障。

GenAI 网关架构图

GenAI 网关的架构图(来源:Uber Engineering Blog)展示了其内部的复杂性,包括外部(OpenAI、Vertex AI)和内部的大语言模型的集成,以及通用能力如验证和账户管理、缓存、可观测性和监控。

结论

GenAI 网关不仅简化了 Uber 团队在项目中集成大语言模型的工作流程,还通过标准化审核流程确保了数据的安全性。通过镜像 OpenAI API,Uber 能够扩大网关的负载范围,并支持多种大语言模型的用例。然而,减少 PII 的挑战依然存在,需要团队在数据安全与模型性能之间找到平衡。未来,GenAI 网关将继续为 Uber 及其他企业提供高效且安全的大语言模型集成解决方案。

参考文献

  1. Uber Engineering Blog. (2024). GenAI Gateway: Simplifying Large Language Model Integration at Uber

通过以上内容,我们不仅了解了 Uber 创建 GenAI 网关的背景和目的,还探讨了其在数据安全和模型性能之间的平衡问题。GenAI 网关为大语言模型的集成提供了一种高效且统一的方法,为未来的 AI 应用提供了宝贵的参考。


>>> Read more <<<

Views: 0

0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注