引言：
在人工智能领域，Jason Wei 这个名字如同灯塔般闪耀。作为 OpenAI 的资深研究科学家，他不仅频频亮相于行业发布会，更以《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》（思维链提示激发大型语言模型推理）一文，开创了思维链（Chain-of-Thought, CoT）这一重要概念。近日，他在宾夕法尼亚大学的客座讲座中，深入剖析了大型语言模型（LLM）的扩展范式，为我们揭示了 AI 发展背后的核心驱动力。这不仅是一场技术讲座，更是一次关于 AI 未来发展方向的深度思考。
扩展的定义与重要性：
Jason Wei 首先对“扩展”（scaling）进行了重新定义，他认为扩展不仅仅是增加模型规模、数据量和 GPU 数量，更重要的是将自己置于一个可以沿着连续轴移动并期望获得持续改进的环境中。这种定义强调了扩展的动态性和持续性，而非简单的资源堆砌。他指出，尽管扩展面临技术和心理上的挑战，但它仍然是推动 AI 进步的关键引擎，并将继续主导该领域的发展方向。
扩展范式一：下一词预测（2018年至今）
在 Jason Wei 看来，从 2018 年至今，LLM 的发展主要依赖于“下一词预测”这一扩展范式。这并非简单的预测下一个词，而是一个大规模的多任务学习过程。通过预测下一个词，模型可以学习语法、世界知识、情感分析、翻译等多种能力。他将下一词预测的准确率比作多个子任务的加权和，从而解释了“涌现”现象的产生。尽管下一词预测在很多方面取得了成功，但 Jason Wei 认为，仅靠此方法实现通用人工智能（AGI）仍然非常困难，需要持续进行大规模的扩展。
扩展范式二：基于思维链的扩展与强化学习
Jason Wei 指出，纯粹的下一词预测在处理复杂任务时存在局限性。为了解决这一问题，思维链（CoT）应运而生。CoT 允许模型像人类一样展示推理过程，从而提高解决复杂问题的能力。OpenAI 通过强化学习优化了模型的思维链能力，进一步提升了模型的推理水平。这标志着 LLM 的扩展范式从规模扩展转向了推理扩展。
AI 文化变革：
Jason Wei 认为，扩展不仅改变了 AI 技术本身，也带来了 AI 文化上的变革：
- 研究重点转移： 研究重点从改进算法转向改进数据质量。
- 基准测试饱和加速： 基准测试被“饱和”的速度越来越快，迫使研究人员不断寻找新的挑战。
- 模型发展趋势： 从单任务模型朝着高度多任务模型转变。
- 智能与用户体验分离： 智能和用户体验成为两个可以分别改进的维度。
- 团队合作的重要性： 需要更大的团队合作来推进 AI 发展。
未来展望：
Jason Wei 对 AI 的未来发展充满信心，他认为 AI 在科学、医疗健康等领域具有广阔的应用前景。他强调，未来需要关注以下几个方面：
- 提高事实准确性，减少虚假信息。
- 发展多模态 AI 能力。
- 增强工具使用能力。
- 扩大 AI 应用范围。
Jason Wei 用“Just keep scaling”（继续扩展）作为演讲的结束语，表达了他对扩展策略的坚定信念。他认为，尽管 AI 在过去五年取得了巨大进步，但通过持续扩展，未来五年还会有更大的发展空间。
结论：
Jason Wei 的讲座不仅回顾了 LLM 的发展历程，更指明了未来发展的方向。他强调扩展是推动 AI 进步的核心动力，并提出了从规模扩展到推理扩展的转变。他深入分析了思维链和强化学习在提升模型推理能力方面的作用，并展望了 AI 在各个领域的应用前景。他的演讲不仅为 AI 研究人员提供了宝贵的启示，也为普通大众揭示了 AI 发展的内在逻辑。 “Just keep scaling” 不仅仅是一句口号，更是对 AI 未来发展的一种坚定信念。
参考文献：
- Wei, J., Zhou, D., Le, Q. V., & Barzilay, R. (2022). Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, 35, 24824-24837.
- Jason Wei’s Lecture Slides: https://llm-class.github.io/slides/Jason_Wei.pdf
- Jason Wei’s Lecture Video: https://www.youtube.com/watch?v=yhpjpNXJDco
（注：本文参考了机器之心对 Jason Wei 演讲内容的整理报道，并进行了深入分析和解读。）
Views: 0