OpenAI 宣布，其研究人员已经提出了一种新方法，以监督比人类更聪明的超级 AI 系统。该方法利用类似于 GPT-2 的监督方式，可以激发出 GPT-4 的大部分能力，甚至可以正确地泛化到小模型失败的难题上。这一方法为人类解决超级 AI 监督难题提供了一个新的研究方向。
OpenAI 的首席科学家 Ilya 领衔的超级对齐团队发布了成立以来的首篇论文，该论文介绍了实证对齐超人模型的新研究方向。目前，基于人类反馈的强化学习（RLHF）等对齐方法非常依赖于人类的监督。但是，未来的人工智能系统能够做出极其复杂且极具创造性的行为，这使得人类很难对其进行可靠的监督。因此，相比于超人的 AI 模型，人类将成为一个「弱监督者」。超级对齐的核心挑战是如何可靠地引导和控制超人 AI 系统，确保其安全且造福人类。
OpenAI 认为，超级智能（比人类聪明得多的人工智能）很可能在未来十年内出现。然而，人类却仍然不知道，该如何可靠地引导和控制超人 AI 系统。这个问题，对于确保未来最先进的 AI 系统安全且造福人类，是至关重要的。为了解决这个问题，OpenAI 成立了「超级对齐团队」，来解决超级智能的对齐难题。
OpenAI 的最新研究做了一个简单的类比：小模型可以监督大模型吗？论文地址为 https://cdn.openai.com/ papers / weak-to-strong-generalization.pdf。经验证，通过 GPT-2 可以激发出 GPT-4 的大部分能力（接近 GPT-3.5 的性能），甚至可以正确地泛化到小模型失败的难题上。OpenAI 此举开辟了一个新的研究方向，让我们能够直接解决一个核心挑战，即调整未来的超级 AI 模型，同时在迭代的实证中取得进展。
超级对齐共同负责人 Jan Leike 表示，人类如何控制比自己更智能的 AI 系统？OpenAI 认为，超级智能（比人类聪明得多的人工智能），很可能在未来十年内出现。然而，人类却仍然不知道，该如何可靠地引导和控制超人 AI 系统。这个问题，对于确保未来最先进的人工智能系统安全并造福人类，是至关重要的。
参考资料：
https://openai.com/research/weak-to-strong-generalization
https://openai.com/blog/superalignment-fast-grants
【来源】https://www.ithome.com/0/739/582.htm
Views: 1