以下是对OpenAI新o1思维链模型的笔记，供您参考：
标题：OpenAI新o1思维链模型笔记
日期：2024年9月12日
一、模型简介
OpenAI今日发布了两个主要的新预览模型：o1-preview和o1-mini（后者被称为“strawberry”）。这两个模型并非简单的GPT-4o升级版，而是在成本和性能方面做出了一些重大权衡，以换取改进的“推理”能力。
二、训练目标
OpenAI的新模型旨在在响应前花更多时间思考。这些模型可以看作是对思维链提示模式的专门扩展——“逐步思考”技巧，这种技巧在2022年5月发表的论文《大型语言模型是零样本推理者》中首次提出。
三、训练方法
OpenAI使用大规模强化学习算法训练模型，使其能够通过思维链在高度数据高效的训练过程中进行有效思考。研究发现，随着强化学习（训练时间计算）和思考时间（测试时间计算）的增加，o1的性能不断提高。
四、模型特点
1. 推理能力增强：o1通过强化学习优化思维链和策略，学会识别和纠正错误，将复杂步骤分解为更简单的步骤，并在当前方法无效时尝试不同方法，从而显著提高推理能力。
2. 成本和性能权衡：与GPT-4o和GPT-4o mini模型相比，o1在推理能力方面有所提升，但成本和性能方面存在一定权衡。
3. API限制：目前，o1-preview和o1-mini模型的API访问仅限于5级账户，且不支持系统提示、流式处理、工具使用、批量调用或图像输入。
五、API文档细节
1. o1模型的API访问需要至少花费1000美元的API信用额度。
2. 不支持系统提示，仅支持用户和助手消息。
3. 不支持流式处理、工具使用、批量调用或图像输入。
4. 根据模型解决问题的关键步骤所需推理量，请求处理时间从几秒到几分钟不等。
5. 引入“推理令牌”——这些令牌在API响应中不可见，但仍然计费并计入输出令牌。
总结：OpenAI的o1思维链模型在推理能力方面有所提升，但成本和性能方面存在权衡。对于需要深度推理且可以接受较长响应时间的应用场景，o1模型可能是一个不错的选择。
Views: 0