引言： OpenAI 的下一代旗舰模型 Orion 性能提升不如预期，引发了 AI 社区关于大模型 Scaling Law 是否已触及瓶颈的激烈讨论。行业龙头 OpenAI 正在调整其发展策略，探索新的模型改进方法，而这可能预示着 AI 发展进入一个新的阶段。
Scaling Law 撞墙？
近年来，大模型的发展遵循着 Scaling Law，即模型性能随着数据量和计算能力的增加而线性提升。然而，近期有报道称 OpenAI 的 Orion 模型性能提升幅度远低于预期，且面临数据储量耗尽的问题。
The Information 报道指出，Orion 的质量提升远不如 GPT-3 和 GPT-4 之间的飞跃，一些 OpenAI 员工甚至认为 Orion 在某些任务上不如其前代模型。这引发了业界对于 Scaling Law 是否已触及瓶颈的质疑。
OpenAI 内部争议：
OpenAI 内部对于 Scaling Law 的未来存在争议。一些研究者认为 AI 发展不会放缓，而其他人则看到了性能提升的递减趋势。
OpenAI 著名研究科学家 Noam Brown 认为 AI 的发展短期内不会放缓，而产品副总裁 Peter Welinder 也表示 Scaling Law 和推理时间的优化可以互相增益。
然而，The Information 报道援引 OpenAI 内部人士的话称，该公司已经成立了一个基础团队来研究如何应对训练数据的匮乏，并探索新的模型改进方法。
行业转向训练后改进：
随着 Scaling Law 遭遇瓶颈，AI 行业正在将精力转向训练后对模型进行改进，探索新的 Scaling Laws。
Meta 的马克・扎克伯格等 CEO 认为，即使当前技术没有进步，仍有很大空间在现有技术的基础上构建消费者和企业产品。
OpenAI 正在将更多的编程功能融入其模型中，以应对来自竞争对手 Anthropic 的挑战。Anthropic 正在开发一种软件，可以像人类一样执行点击、光标移动、文本输入，从而完成涉及网络浏览器活动或应用程序的白领工作。
数据匮乏的挑战：
OpenAI 员工和研究者表示，高质量文本和其他数据的供应量正在减少，这是 GPT 速度放缓的原因之一。
OpenAI 已经成立了一个基础团队来研究如何应对训练数据的匮乏，并探索新的模型改进方法。
未来展望：
Scaling Law 撞墙并非意味着 AI 发展停滞，而是预示着 AI 发展进入一个新的阶段。
AI 行业将更加注重训练后模型改进，探索新的 Scaling Laws，并开发更智能、更具适应性的 AI 模型。
结论：
OpenAI 大模型发展遇瓶颈，Scaling Law 撞墙引发了 AI 社区的广泛讨论。行业正在探索新的模型改进方法，以应对数据匮乏和性能提升放缓的挑战。未来，AI 发展将更加注重训练后模型改进，并开发更智能、更具适应性的 AI 模型。
参考文献：
- OpenAI 大改下代大模型方向，scaling law 撞墙？AI 社区炸锅了. 机器之心.
- 随着 GPT 提升减速，OpenAI 改变策略. The Information.
- Will we run outof data? Limits of LLM scaling based on human-generated data. arXiv.
Views: 0