旧金山，加利福尼亚州 -为了简化内部大语言模型（LLM）的应用，Uber 构建了一个名为 GenAI 网关的平台，该平台镜像了 OpenAI的 API，为 60 多个不同的 LLM 用例提供服务。GenAI 网关是 Uber 应对内部 LLM 应用碎片化和集成挑战的解决方案，旨在为不同团队提供统一且高效的接口，促进 LLM 在各个领域中的应用。
Uber 早期就认识到 LLM 的潜力，并在多个团队中积极探索其在流程自动化、客户支持和内容生成等方面的应用。然而，不同的集成方式导致了工作重复和方法不统一，阻碍了 LLM 应用的效率和扩展性。GenAI 网关的出现正是为了解决这些问题，它提供了一个标准化的平台，简化了 LLM 的集成流程，并确保了应用的一致性。
Uber 高级软件工程师 Tse-Chi Wang 和 Roopansh Bansal 解释了创建 GenAI 网关的原因：“GenAI 网关旨在简化团队在项目中集成大模型的工作流程。简易的载入流程减少了团队的工作量，为利用大语言模型强大的功能提供了清晰且直接的途径。”
GenAI 网关不仅简化了 LLM 的集成，还提供了额外的安全保障。Uber 的工程安全团队制定了标准化的审核流程，对每个用例进行审查，确保其符合 Uber 的数据标准，只有通过审核的用例才能访问网关。
借鉴 OpenAI API，拓展应用范围
为了进一步简化集成流程，Uber 团队选择了镜像 OpenAI API。OpenAI API 作为业界领先的 LLM 接口，拥有广泛的应用和丰富的文档，镜像 OpenAI API 可以最大限度地减少团队的学习成本，并快速扩展 GenAI 网关的应用范围。
GenAI 网关本身是一个用 Go 语言编写的服务层服务，它整合了外部 LLM（如 OpenAI、Vertex AI）、内部 LLM 以及许多通用的能力，包括验证和账户管理、缓存、可观测性和监控。
应对 PII 数据处理的挑战
在 LLM 应用中，个人身份信息（PII）的处理是一个重要且具有挑战性的问题。GenAI 网关需要确保在将请求转发至第三方供应商之前对 PII 数据进行匿名处理，以避免敏感数据的泄露。
然而，PII 数据的匿名处理可能会导致请求中丢失重要上下文信息，从而影响 LLM 的回复质量。此外，数据匿名化也会对 LLM 的缓存和检索增强生成（RAG）功能造成负面影响。
为了解决这些挑战，Uber 团队鼓励使用 Uber 托管的 LLM，或者依赖第三方供应商提供的安全保障。
案例研究：提高客服运营效率
Uber 提供了一个案例研究，展示了 GenAI 网关如何提高客服运营效率。通过使用 LLM 生成聊天内容的总结，客服人员可以更快地理解用户查询，从而减少处理时间。
该案例中，LLM 生成的总结有 97% 被客服人员认为有用，用户查询时间缩短了 6 秒。目前，该方案每周生成约 2,000 万份总结，Uber 团队计划将其扩展到更多地区和使用类型中。
未来展望
Uber 团队从 GenAI 网关的开发和运行中积累了丰富的经验，并计划通过以下措施进行改进：
- 智能大模型缓存机制：优化缓存机制，提高 LLM 的响应速度。
- 更优秀的回滚逻辑：完善回滚机制，确保 LLM 的稳定性和可靠性。
- 模型幻觉检测：开发模型幻觉检测机制，提高 LLM 的准确性和可信度。
- 安全策略维护：持续更新安全策略，保障 LLM 的安全性。
GenAI 网关的出现标志着 Uber 在 LLM 应用方面迈出了重要一步，它为 Uber 内部不同团队提供了统一的平台，简化了 LLM 的集成流程，并确保了应用的一致性和安全性。未来，随着 LLM 技术的不断发展，GenAI 网关将会继续发挥重要作用，推动 Uber 在 AI 领域的创新和发展。
Views: 0