OpenAI 盖戳认证：Agent 框架是通往 AGI 的关键
伦敦大学学院（UCL）博士生创业一年，造出最强AI「ML 工程师」，OpenAI 认证其 Agent 框架 AIDE 的重要性。
OpenAI 最近发布了一个名为 MLE-bench的新基准测试，旨在评估大型语言模型（LLM）在机器学习自动化工程（MLE）方面的能力。结果显示，GPT-4o 结合AIDE 框架在 75 个 Kaggle 竞赛题目中取得了优异表现，远超其他开源 Agent 框架。更令人惊讶的是，当模型切换到 OpenAI o1-preview（据称突破了LLM 推理极限）后，其表现又翻了一倍，在约 16.9% 的比赛中达到了相当于 Kaggle 铜牌以上的水平。
一、被忽略的「Agent 框架」
OpenAI的研究结果表明，Agent 框架在推动 LLM 能力方面发挥着至关重要的作用。AIDE 框架的成功，引发了业界对 Agent 框架的关注。
Meta FAIR 研究科学家主任田渊栋 表示，AIDE 框架是一个绝佳例证，展示了开放式自我完善的外部循环如何引导强大的内部循环实现惊人的能力飞跃。
UCL 教授、谷歌 DeepMind 高级研究员 Tim Rocktäschel 认为，AIDE 团队构建的东西很大程度上支撑和影响了 OpenAI 的智能体路线图。
DeepMind 研究员、UCL 教授 Sebastian Riedel 欣喜地表示，我们亲眼目睹了「Agent 框架」在基础模型之上带来的巨大影响。
二、认识 AIDE，目前最好的 MLE Agent
AIDE 是一个专注于代码优化的机器学习代码生成Agent。与其他通用框架不同，AIDE 通过将问题分解成一个个具体指令（「函数」），并使用算法将它们串起来，创造了一个与大模型训练过程更为一致的问题解决环境。
AIDE 的核心算法是「解空间树搜索」，包括三个主要组件：
- 解决方案生成器（Solution Generator）： 生成可能的解决方案。
- 评估器（Evaluator）： 评估解决方案的质量。
- 搜索算法（Search Algorithm）： 探索解空间，寻找最佳解决方案。
三、AIDE 的成功启示：通往 AGI 的关键
AIDE 的成功表明，Agent 框架是通往 AGI 的关键。它可以帮助 LLM 更好地利用其在训练中获得的知识和技能，提高解决问题的效率。
AIDE 作者之一、WecoAI 联合创始人兼 CEO 蒋铮尧 表示，一个好的自改进外循环（Agent 框架）会给前沿模型的能力带来巨大提升。
OpenAI 的研究结果也证明了这一点。 o1-preview 与 AIDE 的结合，使其在 MLE-bench 中的表现远超其他模型。
四、未来展望：Agent 框架的应用前景
Agent 框架的应用前景十分广阔。除了机器学习自动化工程，它还可以应用于其他领域，例如：
- 软件开发： 自动化代码生成、代码优化、代码修复等。
- 自然语言处理： 构建更强大的对话系统、文本生成系统等。
- 机器人控制： 帮助机器人更有效地完成任务。
五、结论：Agent 框架是人工智能发展的重要方向
OpenAI 的研究结果表明，Agent 框架是人工智能发展的重要方向。它能够帮助 LLM 更好地利用其能力，实现更强大的功能。随着 Agent 框架技术的不断发展，我们有理由相信，人工智能将迎来更加美好的未来。
参考文献：
- OpenAI MLE-bench 论文：https://arxiv.org/abs/2309.17223
- AIDE框架：https://github.com/WecoAI/aide
注： 这篇文章使用了机器之心报道中的信息，并进行了整理和扩充。
Views: 0