AI算力行業專題報告：從英偉達的視角看算力互連板塊成長性，Scale Up 網絡的“Scaling Law”存在嗎？.pdf

AI算力行業專題報告：從英偉達的視角看算力互連板塊成長性，Scale Up 網絡的“Scaling Law”存在嗎？

我們認為Scale Up網絡存在Scaling Law，Scale Up柜間第二層網絡會逐漸出現，光+AEC連接多出與 芯片1:9的配比需求，交換機多出與芯片4:1的配比需求，相較Scale Out網絡均倍增：

1.英偉達持續擴大Scale Up規模：英偉達正通過兩大路徑持續擴大Scale Up網絡規模。2）提升單卡帶 寬：NVLink持續迭代，NVLink 5.0單卡帶寬達7200Gb/s；2）擴大超節點規模：Scale Up超節點規模 不斷擴大，從H100 NVL8到GH200再到GB200等，NVL72等機柜方案可以提高訓推效率，但并不是 Scale Up的上限， NVL72等機柜后續會作為最小的節點（Node）存在，像積木一樣在柜與柜之間進 一步拼出更大的Scale Up超節點，屆時需要光連接等進行通信。

2.為什么需要Scale Up網絡：“內存墻”問題和AI計算范式演進推動Scale Up網絡升級。 “內存墻”：單一大模型的參數量與單卡顯存的差距（即模型內存墻）、單卡算力與單卡顯存間的差距（即算力內 存墻）均逐代放大，通過Scale Up將顯存池化。計算范式：為了提升計算效率，在進行數據并行、流 水線并行的同時也采用張量并行與專家并行，后者對通信頻次、容量的要求都跨越數量級。

3.為什么需要更大的Scale Up網絡：TCO、用戶體驗、模型能力拓展。隨著單用戶每秒消耗的Token 數（Tokens Per Second，TPS）提高，包括NVL72在內的現有服務器單卡性能都會逐漸坍縮，在用戶 體驗持續提升、模型能力拓展的趨勢下，單用戶TPS必然增長，采用更大規模的Scale Out能提高單 卡有效性能，TCO也更具經濟性。我們認為Scale Up規模與預期單用戶TPS、單卡實際性能間存在 Scaling Law，前者會隨后者非線性增長。

4.怎么組建更大的Scale Up網絡：網絡結構層面，在柜間搭建第二層Scale Up交換機；端口連接層面， 光與AEC有望在第二層網絡中并存，按照最新的NVLink與IB標準測算，1顆GPU需要9個額外的等效 1.6T連接，為Scale Out網絡的3-4.5倍，每4顆GPU需要額外1臺交換機，為Scale Out網絡的7.5-12倍。