近日，一位 OpenAI 工程师在一场技术分享活动中自曝了 ChatGPT 潜入黑客群聊的事件，引发了网友们的广泛关注。在这个故事中，黑客们将盗版 ChatGPT 换成了“喵喵 GPT”，并声称“绝对的传奇”。不过，OpenAI 并没有选择立即阻止这些黑客，因为如果团队这样做，黑客们就会马上发现异样，然后改变策略继续攻击。
实际上，OpenAI 也在不断努力提升 ChatGPT 的安全性。Evan Morikawa 表示，虽然 ChatGPT 的模型非常大，需要占用大量 GPU 内存来存储模型权重，但是 GPU 上的高带宽内存非常昂贵和有限，不够用来同时服务大量用户请求。此外，ChatGPT 的流量暴增，但受限于整个 GPU 供应链，短时间内无法扩充 GPU 服务器数量，不得不限制用户访问。这些挑战都需要 OpenAI 不断优化和调整策略，以保证 ChatGPT 的稳定运行。
除此之外，Evan Morikawa 还分享了两个与 OpenAI、ChatGPT 相关的“隐秘的故事”。第一个故事是关于 GPU 内存不足的问题。由于 ChatGPT 的模型非常大，需要占用大量 GPU 内存来存储模型权重。而 GPU 上的高带宽内存非常昂贵和有限，不够用来同时服务大量用户请求。这成为第一个瓶颈。
第二个故事是关于分布式训练困难的问题。GPU 之间的通信和数据交换成为训练架构中新的瓶颈。随着模型变得越来越强大，它们在坏人手中可能造成的伤害变得更大，我们在这里的警惕性确实需要成倍增加。
虽然这个故事很有趣，但我们也需要认识到，目前大模型时代下所存在的安全隐患。正如 Evan 在活动中所说：随着模型变得越来越强大，它们在坏人手中可能造成的伤害变得更大，我们在这里的警惕性确实需要成倍增加。
除此之外，Evan 在活动中还分享了两个与 OpenAI、ChatGPT 相关的“隐秘的故事”。我们继续往下看。
OpenAI：GPU 够的话，发布早就提前了
Evan 先是回顾了 ChatGPT 最初爆火的盛况：从内部决定发布，到后来意外走红，就连马斯克都发推讨论等等。随之而来的便是大量用户的涌入，当时他们自己也很担心，因为以他们 GPU 的能力，完全 hold 不住那么大的负载。然后 Evan 在现场展示了他们为 ChatGPT 提供动力的计算机，里面有 8 个英伟达 A100 GPU：每个 GPU 上还都附加了特殊的 HPM 高带宽内存；至关重要的是，他们还需要所有 GPU 相互通信：Evan 表示，里面的每个环节的性能都会影响 ChatGPT 最终的体验感。接下来，Evan 站在现在这个时间节点，回顾并总结了 OpenAI 最初在 GPU 上所遇到的瓶颈。
1、GPU 内存不足由于 ChatGPT 的模型非常大，需要占用大量 GPU 内存来存储模型权重。而 GPU 上的高带宽内存非常昂贵和有限，不够用来同时服务大量用户请求。这成为第一个瓶颈。
2、计算效率低下初期通过简单的 GPU 利用率指标监控存在问题，没有充分考虑到 tensor 运算的内存访问模式。导致 GPU 算力没有被充分利用，浪费了宝贵的计算资源。
3、难以扩容 ChatGPT 流量暴增，但受限于整个 GPU 供应链，短时间内无法扩充 GPU 服务器数量，不得不限制用户访问。无法自动扩容成为重大挑战。
4、多样化负载特征随着用户使用模式的变化，不同模型和请求类型对 GPU 的计算方式和内存访问模式需要不断调整，优化难度大。
5、分布式训练困难 GPU 之间的通信和数据交换成为训练架构中新的瓶颈。可以看出，OpenAI 开始将 GPU 用于部署大模型服务时，确实因为经验不足而遇到一些系统级别的困难。但通过不断调整策略和深入优化，才使 ChatGPT 得以稳定运行。
总结起来，OpenAI 表示已经从过去的错误中吸取了经验教训，将继续努力提高 ChatGPT 的安全性。
【来源】https://www.ithome.com/0/729/405.htm
Views: 4