马斯克,突放“超级大招”

马斯克此前透露,xAI正在训练的Grok 2已经耗费了约2万块H100 GPU,训练进程一度因芯片短缺受阻,预计于今年5月训练完成。未来进阶版本的Grok 3可能需要高达10万块H100 GPU。

多个AI巨头寻求构建超级计算机

3月底,有消息称,微软和OpenAI正在计划一个数据中心项目,该项目将包含一个拥有数百万专用服务器芯片的超级计算机,以支持OpenAI的人工智能技术。项目成本可能高达1000亿美元,包括一个名为Stargate(星际之门)的AI超级计算机,预计将于2028年启动。微软很可能负责资助该项目。

2022年初,Meta和英伟达发布了一个大型AI研究超级计算机,其连接了6080个A100 GPU,可以提供五百亿亿次级的AI计算性能。全面部署后,这一超级计算机成为最大的英伟达DGX A100客户系统,用于训练具有超过1万亿个参数的AI模型。

马斯克的特斯拉也构建了一个超级计算机Dojo,它由特斯拉自研的D1芯片构成,用于服务其自动驾驶业务。此前,特斯拉发布的算力规划显示,2023年7月Dojo正式投产。随后,特斯拉的算力规模将进入快速增长期,2024年2月进入全球前五,10月达到100EFLOPS,相当于30万块英伟达A100 GPU的算力总和。