AI模型對算力的需求體現在？

大廠布局 ChatGPT 類似產品，或將帶來底層算力需求。

ChatGPT 發布之后，引發了全球 范圍的關注和討論，國內各大廠商相繼宣布 GPT 模型開發計劃。據各公司官網，2023 年 2 月 7 日，百度宣布將推出 ChatGPT 類似產品“文心一言”，預計今年 3 月展開內測；2 月 8 日阿里宣布阿里版 ChatGPT 正在研發中，目前處于內測階段；2 月 9 日，字節跳動旗下 AI Lab 宣布正在開展 ChatGPT 和 AIGC 相關研發，未來將為 PICO 提供技術支持；2 月 10 日，京東旗下言犀人工智能平臺推出產業版 ChatGPT—“ ChatJD”。我們認為，隨著國內 互聯網廠商陸續開展 ChatGPT 類似產品研發，GPT 大模型訓練熱潮或將帶來底層算力需 求快速釋放。

AI 模型對算力的需求主要體現在訓練和推理兩個層面。當前主流的人工智能算法通常可分 為“訓練”和“推理”兩個階段。據 IDC 數據，2021 年中國人工智能服務器工作負載中， 57.6%的負載用于推理，42.4%用于模型訓練。據 IDC 預計，到 2026 年 AI 推理的負載比 例將進一步提升至 62.2%。

具體來看： 1）訓練階段：基于充裕的數據來調整和優化人工智能模型的參數，使模型的準確度達到預 期。對于圖像識別、語音識別與自然語言處理等領域的復雜問題，為了獲得更準確的人工 智能模型，訓練階段常常需要處理大量數據集、做反復的迭代計算，耗費巨大的運算量。 2）推理階段：訓練階段結束以后，人工智能模型已經建立完畢，已可用于推理或預測待處 理輸入數據對應的輸出（例如給定一張圖片，識別該圖片中的物體），此過程被稱為推理階 段。推理階段對單個任務的計算能力要求不如訓練那么大，但是由于訓練出來的模型會多 次用于推理，因此推理運算的總計算量也相當可觀。

ChatGPT 算力需求場景包括預訓練、Finetune 及日常運營。從 ChatGPT 實際應用情況來 看，從訓練+推理的框架出發，我們可以將 ChatGPT 的算力需求按場景進一步拆分為預訓 練、Finetune 及日常運營三個部分：1）預訓練：主要通過大量無標注的純文本數據，訓練 模型基礎語言能力，得到類似 GPT-1/2/3 這樣的基礎大模型；2）Finetune：在完成預訓練 的大模型基礎上，進行監督學習、強化學習、遷移學習等二次或多次訓練，實現對模型參 數量的優化調整；3）日常運營：基于用戶輸入信息，加載模型參數進行推理計算，并實現 最終結果的反饋輸出。

預訓練階段：單次算力需求取決于模型參數量，最高可達3640 PFlop/s-day。ChatGPT 基于 Transformer 架構，進行語言模型預訓練。GPT 模型之所以能夠高效地完 成大規模參數計算，我們認為離不開Transformer架構的加持。拆解Transformer架構來看， 核心是由編碼模塊和解碼模塊構成，而 GPT 模型只用到了解碼模塊。拆解模塊來看，大致 分為三層：前饋神經網絡層、編碼/解碼自注意力機制層（Self-Attention）、自注意力機制掩 碼層，其中：1）注意力機制層主要作用在于計算某個單詞對于全部單詞的權重（即 Attention）， 從而能夠更好地去學習所有輸入之間的關系，實現對文本內在關系的理解和更大規模的并 行計算；2）前饋神經網絡提供了對數據信息的高效存儲及檢索；3）掩碼層在這一過程中 幫助模型屏蔽位于計算位置右側尚未出現的單詞。因此，相較于前代深度學習架構 RNN， Transformer 架構可以實現更大規模的并行計算，大大提升了計算效率。

單一大模型路線下，需要完成大規模參數計算。以 GPT-3 模型為例，隨著模型朝更大體量 的方向演進，參數量從 GPT-3 Small 的 1.25 億個增長到 GPT-3 175B 的 1746 億個，一次 訓練所需的計算量從 2.6PFlop/s-day 增至 3640PFlop/s-day。與此同時，在不同學習樣本 （包括小樣本、單一樣本、零樣本）條件下的模型，隨著參數量的提升均實現不同幅度的 上下文學習能力改善，外在表現為語言準確率的提升。我們認為，隨著大模型訓練表現出 越來越強大的實戰能力，未來或將成為 NLP 訓練的主流選擇。

推理階段：預計單月運營算力需求約7034.7 PFlop/s-day。ChatGPT 近一月訪問量為 8.89 億次。據 SimilarWeb 數據，2023 年 1 月以來 ChatGPT 官 網日訪問量持續攀升，從 1 月初的日均千萬次級別，到 1 月底日均兩千萬次，再到 2 月中 旬的三千萬次級別，隨著軟件效果的廣泛傳播，用戶訪問次數愈發頻繁。加總近一月 （2023/1/17-2023/2/17）ChatGPT 官網訪問量數據來看，可得 ChatGPT 月訪問量為 8.89 億次。

預計日常運營單月所需算力約 7034.7 PFlop/s-day。日常運營過程中，用戶交互帶來的數 據處理需求同樣也是一筆不小的算力開支。據前文，近一個月（2023/1/17-2023/2/17） ChatGPT 官網總訪問量為 8.89 億次。據 Fortune 雜志，每次用戶與 ChatGPT 互動，產生 的算力云服務成本約 0.01 美元。基于此，我們測算得 2023 年 1 月 OpenAI 為 ChatGPT 支 付的運營算力成本約 889 萬美元。此外，據 Lambda，使用訓練一次 1746 億參數的 GPT-3 模型所需花費的算力成本超過 460 萬美元；據 OpenAI，訓練一次 1746 億參數的 GPT-3 模型需要的算力約為 3640 PFlop/s-day。我們假設單位算力成本固定，測算得 ChatGPT 單 月運營所需算力約 7034.7PFlop/s-day。

Finetune階段：預計ChatGPT單月Finetune的算力需求至少為1350.4PFlop/s-day。模型迭代帶來 Finetune 算力需求。從模型迭代的角度來看，ChatGPT 模型并不是靜態的， 而是需要不斷進行 Finetune 模型調優，以確保模型處于最佳應用狀態。這一過程中，一方 面是需要開發者對模型參數進行調整，確保輸出內容不是有害和失真的；另一方面，需要 基于用戶反饋和 PPO 策略，對模型進行大規模或小規模的迭代訓練。因此，模型調優同樣 會為 OpenAI 帶來算力成本，具體算力需求和成本金額取決于模型的迭代速度。

預計 ChatGPT 單月 Finetune 算力需求至少為 1350.4PFlop/s-day。據 IDC 預計，2022 年中國人工智能服務器負載中，推理和訓練的比例分別為 58.5%、41.5%。我們假設， ChatGPT 對推理和訓練的算力需求分布與之保持一致，且已知單月運營需要算力 7034.7 PFlop/s-day、一次預訓練需要算力 3640 PFlop/s-day。基于此，我們進一步假設：1）考 慮到 AI 大模型預訓練主要通過巨量數據喂養完成，模型底層架構變化頻率不高，故我們假 設每月最多進行一次預訓練；2）人類反饋機制下，模型需要不斷獲得人類指導以實現參數 調優，以月為單位可能多次進行。由此我們計算得 ChatGPT 單月 Finetune 算力成本至少 為 1350.4PFlop/s-day。