马斯克豪言：世界最大Nvidia GPU集群3月建成，再扩容10万！

作者智能小编

9 月 17, 2024 #InfoQ, #新闻

摘要

9月2日，特斯拉CEO埃隆·马斯克在其社交媒体上宣布，其人工智能公司xAI已成功上线名为“Colossus”的训练集群，总共有10万个英伟达H100 GPU。马斯克表示，该集群将在未来几个月内规模扩大一倍，达到20万个GPU，其中5万个为更先进的H200 GPU。

正文

近日，特斯拉CEO埃隆·马斯克在社交媒体上公布了一项令人瞩目的成就。他的人工智能公司xAI已经成功上线了一台名为“Colossus”的训练集群，该集群由10万个英伟达H100 GPU组成。马斯克表示，这个集群的建设过程仅用了122天，而xAI在6月份才选定孟菲斯作为其所在地，这表明Colossus的部署速度非常快。

马斯克在社交媒体上写道：“我们上线了Colossus，这是一台由10万个英伟达H100 GPU组成的训练集群。我们用了122天完成部署，这非常快。在接下来的几个月里，我们将把Colossus的规模扩大一倍，达到20万个GPU，其中5万个是更先进的H200 GPU。”

据了解，H200是市场上最抢手的芯片之一，配备141 GB的HBM3E内存和4.8 TB/s的带宽。相比之下，Nvidia最新推出的Blackwell芯片的最高容量比H200高出36.2%，总带宽高出66.7%。尽管如此，H200仍然在市场上备受青睐。

马斯克表示，Colossus将成为性能最强大的产品，并在能源效率方面有显著提升。Nvidia在Colossus发布后向马斯克和xAI团队表示祝贺，并强调Colossus将是性能最强大的产品。

此外，风险投资公司ARK Invest的首席执行官Cathie Wood也对xAI团队取得的成就表示祝贺，称其为“令人印象深刻”，并表示“未来还会有重大公告”。

在当前的人工智能淘金热中，包括微软、谷歌、亚马逊在内的多家重量级科技公司正与马斯克一道竞相采购英伟达备受青睐的Hopper系列人工智能芯片。马斯克也是英伟达的重要客户，其承诺今年仅用于特斯拉的英伟达硬件就要投资30至40亿美元。

据了解，孟菲斯集群将主要用来训练马斯克的Grok-3。他在7月份表示：“我们希望在12月之前发布Grok-3，到那时Grok-3应该会成为世界上最强大的人工智能。”Grok-2的早期测试版上个月刚刚向用户推出。