英伟达阉割版B200A曝光!最强芯片架构难产:产能不够,刀法来凑

CoWoS-L最复杂,在RDL中介层中加入了一种LSI芯片(Local Silicon Interconnect,局部硅互联),可以实现更高布线密度,也可以做成更大尺寸。

台积电推出CoWoS-L,是出于旧版技术在尺寸和性能继续增长上面临困难。

比如在AMD的AI加速芯片MI300上,CoWoS-S中介层已经扩大到了原标准的3.5倍,但仍难以满足未来AI芯片性能增长需求。

但现在,有消息称CoWoS-L在产能攀升中遇到一些问题,可能出现硅、中介层和基片之间的热膨胀系数不匹配,从而导致弯曲,需要重新设计。

过去台积电建立了大量的CoWoS-S产能,英伟达占据了最大份额。现在英伟达的需求可以迅速转向CoWoS-L,但台积电需要时间才能把产能转换到新工艺。

另外有消息称,B200A的核心(内部型号B102)将来也会用来造特别版B20,具体不展开了,懂得都懂。

B200训大模型,还面临其他挑战

Blackwell主推的规格是“新一代计算单元”GB200 NVL72,一个机柜就有36块CPU+72块GPU。

算力很到位,一个机柜在FP8精度的训练算力就高达720PFlops,直逼H100时代一个DGX SuperPod超级计算机集群(1000 PFlops)。

但耗电也很到位,据Semianalysis估算,功率密度约为每个机柜125kW,前所未有。在供电、散热、网络设计、并行、可靠性等方面带来挑战。

事实上,已经用于大模型训练的H100万卡集群,业界也还没有完全驯服好。

比如Llama 3.1系列的技术报告就指出,训练期间平均3小时故障一次,其中GPU导致的问题占了58.7%。

总计419次故障中,148 次是由各种GPU故障(包括NVLink故障)引起,72次可以具体到是由HBM3内存故障引起。