人工智能行業(yè)深度報告：算力大時代，AI算力產(chǎn)業(yè)鏈全景梳理.pdf

上傳者：A*****
時間：2023/06/15
熱度：2369
0人點贊
舉報

人工智能行業(yè)深度報告：算力大時代，AI算力產(chǎn)業(yè)鏈全景梳理。生成式 AI 取得突破，實現(xiàn)了從 0 到 1 的跨越，以 ChatGPT 為代表的人工智能大模型訓練和推理需要強大的算力支撐。自 2022 年底 OpenAI 正式推出 ChatGPT 后，用戶量大幅增長，圍繞 ChatGPT 相關(guān)的應用層出不窮，其通用性能力幫助人類在文字等工作上節(jié)省了大量時間。同時在 Transformer 新架構(gòu)下，多模態(tài) 大模型也取得新的突破，文生圖、文生視頻等功能不斷完善，并在廣告、游戲等領(lǐng)域取得不錯的進展。生成式 AI 將是未來幾年最重要的生產(chǎn)力工具，并深刻改變各個產(chǎn)業(yè)環(huán)節(jié)，圍繞生成式 AI，無論是訓練還是推理端，算力需求都將有望爆發(fā)式增長。

訓練和推理端 AI 算力需求或幾何倍數(shù)增長。首先是訓練側(cè)，參考 OpenAI 論文，大模型訓練側(cè)算力需求=訓練所需要的 token 數(shù)量*6*大模型參數(shù)量。可以看到從 GPT3.5 到 GPT4，模型效果越來越好，模型也越來越大，訓練所需要的 token 數(shù)量和參數(shù)量均大幅增長，相應的訓練算力需求也大幅增長。并且，與 GPT4 相關(guān)的公開論文也比較少，各家巨頭向 GPT4 邁進的時候，需要更多方向上的探索，也將帶來更多的訓練側(cè)算力需求。根據(jù)我們的推算，2023 年-2027 年，全球大模型訓練端峰值算力需求量的年復合增長率有望達到 78.0%，2023 年全球大模型訓練端所需全部算力換算成的 A100 芯片總量可能超過 200 萬張。其次是推理側(cè)，單個 token 的推理過程整體運算量為 2*大模型參數(shù)量，因此大模型推理側(cè)每日算力需求=每日調(diào)用大模型次數(shù)*每人平均查詢 Token 數(shù)量*2*大模型參數(shù)量，僅以 Google 搜索引擎為例，每年調(diào)用次數(shù)至少超過 2 萬億，一旦和大模型結(jié)合，其 AI 算力需求將十分可觀。隨著越來越多的應用和大模型結(jié) 合，推理側(cè)算力需求也有望呈現(xiàn)爆發(fā)增長勢頭。根據(jù)我們的推算，2023 年-2027 年，全球大模型云端推理的峰值算力需求量的年復合增長率有望高達 113%。