OpenAI 宣布推出全新功能“预测输出”，让 GPT-4o的生成速度大幅提升，最高可达 5 倍。这一功能的核心在于跳过已知内容，直接从预测结果开始生成，从而大幅缩短生成时间。
编程领域率先受益：
FactoryAI 与 OpenAI 合作开发了该功能，并在编程任务中取得显著成果。实验结果显示，使用“预测输出”的 GPT-4o 响应时间比之前快了 2-4 倍，同时保持高精度。官方数据表明，原先需要 70 秒完成的编程任务，现在仅需 20 秒。
网友实测验证速度提升：
消息一出，众多网友纷纷进行实测，验证“预测输出”的实际效果。Firecrawl 创始人 Eric Ciarla 使用该功能将博客文章转化为 SEO 内容，并表示速度“超级快”。其他网友也分享了类似的体验，例如将代码中的详细信息更改为随机文本片段，速度明显提升。
技术原理：
OpenAI 解释称，在某些情况下，LLM 的大部分输出都是可预测的。例如，修改代码时，大部分内容可能保持不变。通过将现有内容作为预测输入，模型可以更快地生成最终结果。
使用限制和注意事项：
目前，“预测输出”仅支持 GPT-4o 和 GPT-4o mini 模型，且以 API 的形式提供。此外，该功能不支持某些 API 参数，例如 n 值大于 1、logprobs、presence_penalty 大于 0 等。
未来展望：
“预测输出”的推出标志着 LLM 生成速度的显著提升，为开发者和用户带来了更多便利。未来，OpenAI可能将该功能扩展到更多模型和场景，进一步提升 LLM 的效率和应用价值。
参考文献：
[1] OpenAI 官方文档：https://platform.openai.com/docs/guides/latency-optimization#use-predicted-outputs
[2] Twitter 讨论：https://x.com/OpenAIDevs/status/1853564730872607229
[3] Twitter 讨论：https://x.com/romainhuet/status/1853586848641433834
[4] Twitter 讨论：https://x.com/GregKamradt/status/1853620167655481411
Views: 0