华为突破制裁的密码,藏在“384超节点”中
一场“系统工程的胜利”
昇腾团队做的第一个“重构”,就是“全对等高速互联的架构”。
展开来说,这是一项基于高速总线互联技术实现的重大突破,它相当于把总线从服务器内部,扩展到整机柜、甚至跨机柜。
在超节点范围内,用高速总线互联替代传统以太,通信带宽提升了15倍;单跳通信时延也从2微秒做到200纳秒,降低了10倍,使集群如同一台计算机般协同工作,有效突破系统性能限制。
紧接着,团队又设计了“全局内存统一编址”,通过虚拟化技术将分散在各节点的内存池虚拟为统一地址空间,支持跨节点直接内存访问。
这使得大模型训练中频繁的参数同步操作,无需经过传统的“序列化-网络传输-反序列化”流程,直接通过内存语义通信完成,可满足大模型训练/推理中的小包通信需求,提升专家网络小包数据传输及离散随机访存通信效率。
值得一提的是,研发团队还对“384 超节点”的资源调度进行了升级:细粒度动态切分,基于对MoE模型结构的深度感知,超节点可将模型层间计算任务按专家分布动态切分至不同节点。例如对包含288个专家的模型,可将每个专家分配至独立NPU,同时通过智能路由算法优化跨节点通信路径,使计算与通信耗时比从传统的1:1升至3:1。
事后来看,完成上述重构设计,行业中可能只有华为能在短时间内完成。因为其背后是涉及的是基础软件、计算、内存、通信、架构、调度、散热、供电、高速互联等多个领域的“协同作战”,而且每个领域都需要深厚的技术积累。
就比如说最基础的通信,传统铜缆在庞大规模的集群节点中会产生明显的信号衰减,因此昇腾团队选择了华为自主研发的400G光模块解决互联问题;又由于“超节点”的网络拓扑发生变化,还不能用传统的光调度系统,但华为此前研发的OXC(全光交叉联接)刚好可以解决这个问题。
类似的例子还有很多,应该说在CloudMatrix 384超节点的研发过程中,华为过去几十年在硬件工程和基础软件方面积累的经验,被集中展示了出来。
据悉,华为内部有个算力会战,集结了超过万人的团队,把华为云、模型、底座、芯片、硬件工程、基础软件的人集结在一起,跨部门作战,深度协同,实现了“大杂烩”技术的有效利用和协同创新。这种“多产业集群”优势,恐怕是行业内任何一家公司都不具备的。
此外,从纵向来看,也就是把范围缩小到AI产业中,华为也是为数不多既能做算力基础设施,也能做基础大模型的公司,这可以在公司内部形成一个高效运转的“技术飞轮”。华为专家强调:“只有做基础大模型,才知道对算力底座有什么要求,才知道算力底座该怎么改进。没有这样的牵引和支撑驱动机制,可能都不能发现深层次的问题。”
近期华为披露了盘古Ultra MoE准万亿模型,同时,盘古Pro MoE大模型在SuperCLUE榜单并列百亿模型榜首的成绩,这充分映证了基于昇腾国产算力平台也可以训练出世界一流的大模型。