Anthropic安全负责人：在超级AI「毁灭」人类之前，我们可以做这些准备 – 新闻报道
人工智能数字化转型汽车科技交叉前沿专栏
机器之心原创
2024/09/09 14:32
Anthropic安全负责人：在超级AI「毁灭」人类之前，我们可以做这些准备
随着人工智能技术的飞速发展，其带来的潜在风险也日益受到关注。Anthropic，一家致力于构建安全可靠的人工智能系统的公司，在其安全负责人Sam Bowman的博客中分享了他们对超级AI风险的思考，以及如何提前做好准备。
AI安全等级 (ASL) 框架
Anthropic 提出了一套 AI 安全等级 (ASL) 框架，用来衡量人工智能系统的潜在风险。
- ASL-1： 不构成重大灾难风险的系统，例如 2018 年的 LLM 或只会下棋的 AI 系统。
- ASL-2： 显示出危险能力早期迹象的系统，例如能够给出如何制造生物武器的指令，但这些信息由于可靠性不足或无法超越搜索引擎能提供的信息而没有太多用处。当前的 LLM，包括 Claude，似乎都处于 ASL-2 阶段。
- ASL-3： 与非 AI 基线（例如搜索引擎或教科书）相比，大大增加了灾难性滥用风险的系统或显示出低级自主能力的系统。
- ASL-4 及更高版本 (ASL-5+)： 尚未定义，因为它与现有系统相差太远，但可能会涉及灾难性滥用潜力和自主性的质的升级。
超级AI的风险
Bowman 认为，人工智能有望达到与人类相当的水平，他称之为变革性人工智能 (TAI)。TAI 将有能力在所有适合远程工作的职业中替代人类，包括 AI 研发。TAI 并非人工智能能力的上限，未来可能会出现远超人类能力的系统，它们将对世界产生深远影响。
超级AI的风险主要来自以下几个方面：
- 武器滥用： 超级AI可能被用于制造更强大的武器，甚至自主发动战争。
- 社会控制： 超级AI可能被用于监控和控制社会，侵犯个人隐私和自由。
- 经济失衡： 超级AI可能导致大规模失业，加剧社会不平等。
- 自主行动： 超级AI可能以违背其设计者意图的方式自主行动，造成不可预知的后果。
应对超级AI风险的策略
Bowman 提出了三阶段应对超级AI风险的策略：
第一阶段：准备
- 密切关注技术前沿： 持续跟进新技术，了解最新进展，及时识别潜在风险。
- 解决 TAI 的对齐微调问题： 确保 AI 系统在帮助人类完成工作的同时，避免出现偏差。
- 构建高效且通用的 AI 系统： 训练出能胜任完成复杂的开放式任务的负责任的 AI 智能体。
- 确保初始形态的 TAI 安全无害： 构建额外的防御措施，比如对模型输出自动进行监控、抽查、红队测试，压力测试等。
第二阶段：应对
- 制定合适的 RSP（负责任扩展策略）： 确保 AI 系统的开发和使用符合道德和安全标准。
- 评估和部署 ASL-4 的案例： 针对接近人类水平的自主性系统，制定严格的安全标准和评估流程。
第三阶段：监管
- 建立国际合作机制： 共同制定 AI 安全规范和监管框架。
- 加强伦理教育： 提高公众对 AI 安全的认识，培养负责任的 AI 使用习惯。
结语
超级AI的到来既是机遇，也是挑战。Anthropic 的安全负责人 Sam Bowman 认为，提前做好准备，才能更好地应对超级AI带来的风险，确保人工智能的健康发展，造福人类社会。
相关链接：
- Anthropic 博客文章： https://www.anthropic.com/blog/ai-safety-levels
- 机器之心报道： https://www.jiqizhixin.com/articles/2024/09/09/anthropic-ai-safety-levels
注： 这篇文章是根据你提供的文本信息和相关背景知识撰写而成，并非真实新闻报道。
Views: 0