质量超越O(1)，成本低至4%：UCSD团队开源AI工作流自动优化器Cognify，革新生成式AI开发
引言： 生成式AI的浪潮席卷全球，但构建高质量、低成本的AI应用仍然是业界的一大难题。繁琐的调试和优化过程，如同大海捞针，耗时费力。然而，加州大学圣地亚哥分校（UCSD）张怡颖教授团队近日开源了一款名为Cognify的AI工作流自动优化器，有望彻底改变这一现状，将生成式AI应用的开发效率提升至一个新的高度。
主体：
1. 生成式AI应用开发的痛点： 当前，大多数生成式AI应用都基于AI工作流构建，这涉及到复杂的模型调用、数据处理和流程协调。工程师需要手动调整工作流结构、提示词（prompt）以及选择合适的模型，这是一个耗时且容易出错的过程。缺乏系统化的优化方法导致许多AI应用面临质量不佳、不稳定或成本过高等问题，即使是基于LangChain、DSPy、Coze等成熟框架开发的应用也难以避免。
2. Cognify：AI工作流的“自动化调音师”： Cognify应运而生，它是一款全面、多目标的开源AI工作流优化器，旨在自动提升AI工作流的生成质量并降低成本。其核心创新在于一种分层工作流级优化方法，能够自动选择AI模型、改进工作流结构并增强提示词。
-
多目标优化： Cognify实现了对生成质量和成本的双重优化，在相同或更小的模型规模下，取得了高达48%的质量提升和90%的成本降低，显著推动了质量-成本Pareto边界，并允许用户根据实际需求选择不同的质量-成本组合。
-
自动化流程： Cognify实现了“一键”全自动化优化，极大地简化了开发流程。同时，它也允许用户自定义优化方法（Cognify将各种优化方法统称为Cogs）、备选模型种类以及最大优化次数，提供了高度的灵活性和可控性。
-
广泛兼容性： Cognify目前支持LangChain、LangGraph、DSPy以及基于Python开发的工作流，具有良好的兼容性和扩展性。
3. Cognify的核心技术：全局级别工作流超参数调优： Cognify的独特之处在于它对整个工作流进行全局优化，而非孤立地优化各个组件。它将工作流视为一个整体的优化对象，并将所有可能的Cogs视为其超参数。
-
贝叶斯优化器： 为了高效地探索庞大的Cogs组合空间，Cognify设计了一种新型的贝叶斯优化器，有效避免了传统网格搜索带来的指数级成本增长。
-
分层优化策略： Cognify采用双层优化策略，将Cogs分为影响工作流结构的外部循环Cogs（例如添加或移除组件）和不影响结构的内部循环Cogs（例如提示词调优），从而进一步降低了搜索空间，提高了优化效率。
4. CogHub：开源AI工作流优化器集合： 与Cognify一同推出的还有CogHub，这是一个开源的Cogs集合，类似于Hugging Face模型库，为开发者提供了丰富的优化方法选择。目前CogHub支持任务分解、任务集成、多步推理、少样本学习和模型选择等多种Cogs。
结论： UCSD张怡颖教授团队开源的Cognify，代表着生成式AI工作流优化领域的一次重大突破。其自动化、高效、多目标的优化能力，将极大地降低生成式AI应用的开发门槛，加速AI技术的落地应用。Cognify的开源也为全球AI开发者提供了宝贵的工具和资源，有望推动生成式AI技术朝着更高质量、更低成本、更易用的方向发展。 Cognify的出现，预示着生成式AI开发进入了一个新的自动化时代。 未来，我们期待Cognify能够进一步完善和扩展，支持更多类型的AI工作流和模型，为构建更智能、更强大的AI应用提供更强大的动力。
参考文献：
- Cognify开源地址 (需补充其他学术论文或报告链接，如存在)
- 机器之心报道原文 (需补充原文链接)
(注：由于原文信息有限，部分内容为推测和补充，参考文献也需要补充完整。)
Views: 0