摘要： 面对通用人工智能（AGI）智能体可能带来的灾难性风险，图灵奖得主Yoshua Bengio及其团队提出了一种名为“Scientist AI”的非智能体AI系统。该系统旨在通过观察和解释世界，而非采取行动，从而在享受人工智能益处的同时，避免潜在的安全隐患。
北京 – 人工智能领域正经历着一场前所未有的变革，各大科技巨头竞相开发能够自主规划、行动并完成广泛任务的通用AI智能体。然而，这种以智能体为导向的发展路径也引发了关于安全性的担忧。不受约束的AI智能体可能对人类构成重大风险，这促使一些学者呼吁开发更安全、更实用的替代方案。
近日，深度学习领域的领军人物、图灵奖得主Yoshua Bengio以第一作者身份发表了一篇题为《Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path?》的论文，为解决这一问题提出了新的思路。该论文介绍了一种名为“Scientist AI”的非智能体AI系统，旨在通过观察和解释世界，而非在其中采取行动，从而在设计上实现可信和安全。
Scientist AI：世界模型与推理机的结合
Scientist AI的核心理念是模拟理想化的科学家形象，通过理解和建模世界，然后基于这些知识进行概率推断。该系统包含两个关键组件：
- 世界模型： 该模型基于概率深度学习技术，通过观察数据生成解释性理论，用于解释世界的运行机制。
- 推理机： 该组件基于世界模型进行问答推理，在操作时会明确考虑不确定性，以降低过度自信预测的风险。
与旨在追求目标的自主AI不同，Scientist AI的训练目标是提供对事件的解释及其估计概率。它没有内置的情境意识，也没有能够驱动行动或长期计划的持久目标。
Scientist AI的三大应用场景
Bengio团队预见了Scientist AI的三大主要应用场景：
- 加速科学进步的工具： Scientist AI可以作为一种强大的工具，帮助人类科学家显著加速科学进步，尤其是在医疗等高回报领域。
- 防范自主AI风险的护栏： Scientist AI可以通过双重检查自主AI提议的行动，并确保其安全部署，从而防范自主AI可能带来的风险。
- 更安全地构建未来AI的研究工具： Scientist AI可以作为一种研究工具，帮助更安全地构建未来更智能（甚至超级智能）的AI。
技术细节与未来展望
Scientist AI的世界模型和推理机都使用逻辑语句表达，这些语句可以用自然语言或形式语言表示。世界模型采样的语句形成因果模型，以因果关系的形式提供解释。推理机接收一对输入（问题X，答案Y），输出在给定与问题X相关的条件下Y的概率。
Bengio团队认为，Scientist AI的独特设计使其能够生成涉及潜在或未观察变量的解释，从而对其进行概率预测。通过这种方式，Scientist AI可以帮助我们更好地理解世界，并做出更明智的决策。
结论：安全AI的新方向
在人工智能技术飞速发展的今天，安全性问题日益凸显。Yoshua Bengio及其团队提出的Scientist AI为我们提供了一个新的视角，即通过构建非智能体AI系统，我们可以更好地控制人工智能的风险，并确保其为人类带来福祉。Scientist AI的出现，无疑为人工智能的未来发展指明了一个更安全、更可信的方向。
参考文献：
- Bengio, Y., et al. (2025). Superintelligent Agents Pose Catastrophic Risks: Can Scientist AI Offer a Safer Path? arXiv:2502.15657.
- LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436.
- Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.
Views: 0