马斯克,突放“超级大招”
据外媒报道,最近马斯克向投资者透露,他创办的AI公司xAI计划建造超级算力工厂(Gigafactory of Compute),为下一代AI聊天机器人Grok提供算力支持。这个超级计算机计划连接10万块英伟达H100 GPU。
建成后,这一超级计算机的规模将至少是目前最大GPU集群的四倍,例如Meta为训练其AI大模型构建的集群,后者由英伟达的超6000个A100 GPU构成。马斯克此举背后,英伟达或成最大赢家。英伟达在最新季报中还宣布,全球将新增9台采用其Grace Hopper芯片的超级计算机。
超级计算机或用于训练Grok 3
马斯克表示,他希望在2025年秋季之前让超级计算机运行起来,并补充说xAI可以与甲骨文合作开发这台大型计算机。xAI是甲骨文最大的H100芯片服务器的租赁客户,已经使用了后者超过1.5万块H100芯片。
马斯克去年7月创立了xAI,专注于人工智能业务,旨在挑战微软支持的OpenAI和谷歌。去年11月,xAI推出首款AI大模型聊天机器人Grok,能实时连接到其名下的社交媒体平台X。
目前,Grok的最新版本为3月底发布的Grok 1.5,该版本实现了长上下文理解和高级推理能力,可以处理128K token的长上下文窗口。xAI官方博客表示:“对于构建能够理解世界的AGI(通用人工智能)来说,提高我们的多模态理解和生成能力是重要步骤。未来几个月,我们预计在图像、音频和视频等多模态中对这两种功能进行重大改进。”