OpenAI 大模型方向大改：Scaling Law 撞墙？AI 社区炸锅！
OpenAI 的下一代旗舰模型 Orion 似乎遇到了瓶颈，其性能提升幅度远不如 GPT-3 和 GPT-4 之间的跨越。 这一消息引发了 AI 社区广泛的讨论，甚至有人质疑大模型的 Scaling Law 已经触及了天花板。
Scaling Law 困境：数据储备即将耗尽？
近年来，大模型的性能提升很大程度上依赖于 Scaling Law，即通过增加训练数据和计算能力来提升模型能力。然而，研究表明，如果 LLM 继续以目前的速率发展，预计到 2028 年，现有的数据储备将被全部利用完。
OpenAI 转换策略：转向训练后优化
面对这一困境，OpenAI 似乎正在改变策略。据 The Information 报道，OpenAI 的下一代旗舰模型 Orion 虽然在智能和完成任务方面与 GPT-4 相当，但其质量提升幅度远不如 GPT-3 和 GPT-4 之间的跨越。此外，OpenAI 还成立了一个基础团队来研究如何应对训练数据的匮乏，并开始将精力转向训练后对模型进行改进。
AI 社区反应：争议不断
这一消息引发了 AI 社区的热烈讨论。OpenAI 著名研究科学家 Noam Brown 表示 AI 的发展短期内不会放缓，并认为 Scaling Law 和推理时间优化可以互相增益。然而，一些研究者则认为Scaling Law 已经遇到了瓶颈，并开始探索新的发展方向。
OpenAI 强调：Scaling Law 尚未触及极限
尽管如此，OpenAI 仍然坚称 Scaling Law 尚未触及极限。该公司仍在开发昂贵的数据中心，以尽可能多地提升预训练模型的性能。OpenAI 产品副总裁 Peter Welinder 也表示，Scaling Law 和推理时间优化可以互相增益，AI 整体发展不会放缓。
未来展望：训练后优化成为新的方向？
目前，AI 行业似乎正在将精力转向训练后对模型进行改进。这一趋势可能会催生新的 Scaling Law，并带来更多创新。例如，OpenAI 正在将更多的编程功能融入其模型中，以应对来自竞争对手 Anthropic 的挑战。
结论：Scaling Law 困境引发思考
OpenAI 大模型方向的改变，引发了人们对 Scaling Law 的思考。虽然 Scaling Law 仍然是推动 AI 发展的重要力量，但它并非万能的。随着数据储备的逐渐枯竭，训练后优化可能会成为新的发展方向。
参考文献：
- Will we run out of data? Limits of LLM scaling based on human-generated data
*随着 GPT 提升减速，OpenAI 改变策略 - OpenAI大改下代大模型方向，scaling law撞墙？AI社区炸锅了 | 机器之心 报道
Views: 0