华为突破制裁的密码,藏在“384超节点”中
“以非摩尔补摩尔、以集群补单芯片”
在讨论华为如何短时间内实现赶超的问题前,我们需要先明确一个问题:“384超节点”算是华为在制裁下的无奈之举吗?
不完全是。
除了制裁下寻求破局这个角度,华为打造“超节点”这件事,恰恰展现了其作为全球顶尖科技公司的远见——随着制程技术的不断升级,半导体性能提升的摩尔效应正在加速失效,不仅芯片需要面对漏电、结构迫近物理极限等一系列问题。技术升级带来的成本指数级飙升,也正在拉低新制程的革新优势。
以实际的芯片落地为例,即使客户选择全球顶尖代工厂,从5纳米升级到3纳米制程,代工成本将增加数倍,但晶体管密度也只有15%-20%的提升。这种“投入多,但提升少”的困境,正随着制程工艺的持续升级而不断加剧。
既然无法从“单点”解决发展的挑战,那就只能从“系统层面”下手了。通过系统工程的创新,弥补芯片工艺落后的问题。
前不久,黄仁勋公开表达,“从技术参数看,华为的CloudMatrix 384超节点,性能上超越了英伟达”。CloudMatrix384超节点里面有384个卡,这些卡要连在一起像一台计算机一样高效的工作,除了计算,还包括内存,通信,存储,架构,调度,并行,散热,供电,高速互联等资源调度问题。
只有让各个组成部分有效地配合在一起运行,才能使整个系统效能最佳。一位华为技术专家向虎嗅表示, “超大规模MoE模型的训练就是一项复杂的系统工程,挑战很大,如果你深入下去就会发现到处是拥塞,很多是串行,到处是等待,很大情况是资源不匹配,还有一些则是重复计算或重复数据搬运,蕴藏着巨大的改进空间”。
面对这些问题,华为的研发人员决定从底层重构现有的算力架构。