AI算力行業(yè)專題報告：從英偉達的視角看算力互連板塊成長性，Scale Up 網(wǎng)絡的“Scaling Law”存在嗎？.pdf

AI算力行業(yè)專題報告：從英偉達的視角看算力互連板塊成長性，Scale Up 網(wǎng)絡的“Scaling Law”存在嗎？

我們認為Scale Up網(wǎng)絡存在Scaling Law，Scale Up柜間第二層網(wǎng)絡會逐漸出現(xiàn)，光+AEC連接多出與 芯片1:9的配比需求，交換機多出與芯片4:1的配比需求，相較Scale Out網(wǎng)絡均倍增：

1.英偉達持續(xù)擴大Scale Up規(guī)模：英偉達正通過兩大路徑持續(xù)擴大Scale Up網(wǎng)絡規(guī)模。2）提升單卡帶 寬：NVLink持續(xù)迭代，NVLink 5.0單卡帶寬達7200Gb/s；2）擴大超節(jié)點規(guī)模：Scale Up超節(jié)點規(guī)模 不斷擴大，從H100 NVL8到GH200再到GB200等，NVL72等機柜方案可以提高訓推效率，但并不是 Scale Up的上限， NVL72等機柜后續(xù)會作為最小的節(jié)點（Node）存在，像積木一樣在柜與柜之間進 一步拼出更大的Scale Up超節(jié)點，屆時需要光連接等進行通信。

2.為什么需要Scale Up網(wǎng)絡：“內(nèi)存墻”問題和AI計算范式演進推動Scale Up網(wǎng)絡升級。 “內(nèi)存墻”：單一大模型的參數(shù)量與單卡顯存的差距（即模型內(nèi)存墻）、單卡算力與單卡顯存間的差距（即算力內(nèi) 存墻）均逐代放大，通過Scale Up將顯存池化。計算范式：為了提升計算效率，在進行數(shù)據(jù)并行、流 水線并行的同時也采用張量并行與專家并行，后者對通信頻次、容量的要求都跨越數(shù)量級。

3.為什么需要更大的Scale Up網(wǎng)絡：TCO、用戶體驗、模型能力拓展。隨著單用戶每秒消耗的Token 數(shù)（Tokens Per Second，TPS）提高，包括NVL72在內(nèi)的現(xiàn)有服務器單卡性能都會逐漸坍縮，在用戶 體驗持續(xù)提升、模型能力拓展的趨勢下，單用戶TPS必然增長，采用更大規(guī)模的Scale Out能提高單 卡有效性能，TCO也更具經(jīng)濟性。我們認為Scale Up規(guī)模與預期單用戶TPS、單卡實際性能間存在 Scaling Law，前者會隨后者非線性增長。

4.怎么組建更大的Scale Up網(wǎng)絡：網(wǎng)絡結(jié)構(gòu)層面，在柜間搭建第二層Scale Up交換機；端口連接層面， 光與AEC有望在第二層網(wǎng)絡中并存，按照最新的NVLink與IB標準測算，1顆GPU需要9個額外的等效 1.6T連接，為Scale Out網(wǎng)絡的3-4.5倍，每4顆GPU需要額外1臺交換機，為Scale Out網(wǎng)絡的7.5-12倍。