AIGC場景下數據存儲發展趨勢與展望分析

對于滿足AIGC高性能需求的同時提升存儲系統的能效比并降低能耗成本這一問題，各存儲廠商紛紛出臺了 相應的解決方案。

1.未來趨勢

1.1 數據綠色存儲愈發成為關注的焦點

隨著AIGC產業的大力發展，各地方政府也在積極推進大型智算中心的構建，例如北京、深圳、上海等地已 經出臺了多種布局算力基礎設施的實施方案。目前，國內單個智算中心的存儲規模均在EB級，智算中心的規模 和數量不斷擴大，帶來了存儲的能耗的快速上升。相關數據顯示，2023年，全國數據中心耗電量達到2700億千 瓦時，占社會總用電量的3%。而智算中心引入了更多的算力相關設備，其耗電量將遠高于同等規模的數據中 心。根據斯坦福人工智能研究院發布的《2023年人工智能指數報告》顯示，GPT-3單次訓練耗電量就已高達 1287兆瓦時，智算中心內綠色能源使用占比超過 20%，液冷機柜數量占比超過 50%，存儲能耗中80%以上來自 于存儲介質。目前主流的存儲介質主要包括HDD磁盤和SSD磁盤。其中HDD磁盤功耗大約在6W以上，而SSD磁 盤在靜態無負荷條件下，功耗僅大約在0.05W到1.2W之間。然而，由于SSD單盤價格相對較高，且在相同容量 下，需要更多數量的HDD，直接導致存儲的總能耗大幅上升，嚴重阻礙國內“碳達峰&碳中和”的進展。

對于滿足AIGC高性能需求的同時提升存儲系統的能效比并降低能耗成本這一問題，各存儲廠商紛紛出臺了 相應的解決方案。比較典型的有以下幾種，一是采用能耗更低的全閃存存儲（All-Flash Storage, AFS）和混閃 存存儲方案。全閃存存儲利用固態硬盤（SSD）的高速讀寫能力，提供極低的延遲和高吞吐量，非常適合AIGC 應用中的實時數據處理需求。混閃存存儲則結合了SSD和傳統硬盤驅動器（HDD），通過智能數據分層技術， 將最活躍的數據存儲在SSD上，而將較少訪問的數據存儲在HDD上，從而在性能和成本之間取得平衡。二是智 能數據管理策略。這些策略包括自動數據分層，它根據數據訪問的頻率和模式，動態地將數據在不同存儲層之 間遷移。通過冷數據歸檔技術將不常訪問的數據移動到更節能的存儲介質上，減少對高性能存儲資源的需求， 減少不必要的數據存儲和訪問。此外，還有在數據中心的存儲中實施數據去重和壓縮技術，減少存儲需求以及 利用軟件定義存儲和存儲虛擬化技術提高資源利用率等技術。這些綠色存儲技術的實施有助于提高存儲系統的 能效，降低企業存儲成本，為未來存儲技術的發展提供了新的思路。

1.2 數據安全存儲的重要性日益凸顯

隨著AIGC在各領域的廣泛應用，數據已成為越來越重要的資產。目前來看，AIGC場景下性能成為廠商和用 戶關注的焦點，嚴重缺乏對數據的嚴格監管和風險識別，尤其是在醫療、金融、法律等非公開的數據方面，由 于缺乏數據安全防護，在各類惡意攻擊下，數據信息被嚴重泄露，制約AIGC應用的發展。

在模型攻擊中，攻擊者可通過逆向工程或者對抗攻擊，竊取模型訓練采用的隱私數據。在數據遷移或數據 處理中，攻擊者篡改訓練數據內個人原始信息，操控模型生成意向。例如，攻擊者可在金融大模型中篡改貸款 用戶的貸款歷史和信譽度信息，從而降低各類人群的貸款信譽度。 存儲作為數據的載體，除了考慮性能和管理，也需要制定安全等級，全方位識別數據風險和數據安全問 題，從數據移動過程中涉及的存儲區域、存儲介質、軟件棧進行全面數據加密和權限認證，防止AIGC各個階段 的數據篡改和惡意提取。

2.展望：最近技術發展趨勢

2.1 AIGC催生新一代數據存儲架構

就目前現有的存儲架構來看，主要有集中式存儲、分布式存儲、超融合存儲及云存儲四類。由于都是面向 特定場景的專有設計，各類存儲架構都有其獨特的特點。相比之下，分布式存儲展現出來的大容量、可擴展、 高性能及高可靠等特點極大地滿足了AIGC場景中對數據存儲的復雜需求。未來隨著存儲技術的不斷進步，分布 式存儲將展現出強大的生命力，并在原有架構基礎上向新的存儲架構持續演進。

新的存儲架構總體設計思路是面向綜合負載場景，基于模塊化、服務化、平臺化的分布式設計理念，構建 超大規模分布式融合智能存儲平臺，提供均衡存儲能力。新型存儲架構可以概括為三層空間視圖、三面功能視 圖、兩體邏輯視圖的可組合架構。其中，三面功能視圖主要是用來強化功能的分類，包括控制面、數據面和智 能面；三層空間視圖是新存儲架構的邏輯視圖，包含開放使能層、微服務化功能層和硬件資源層；兩體邏輯視 圖是新存儲架構的空間試圖，描述存儲的構成和布局，包括存儲平臺本體和管理編排體。在三層空間視圖中， 開放使能層實現數據與存儲系統解耦，建立數據流通技術規范，驅動數據跨應用、跨系統、跨云共享；在微服 務化功能層實現軟件解耦，使能按需融合資源、組合多樣存儲服務；在硬件資源層使設備解耦硬件模塊化，基 于新型互聯網絡與協議定義節點，實現存算資源按需彈性組合。

分布式融合智能存儲平臺實現了以數據為中心，圍繞數據容納、處理、安全、流動、共享和管理構筑多維 均衡能力，按需組合硬件與軟件，定義多樣形態存儲平臺服務，提供數據訪問與管理調度的一體化視圖，滿足 AIGC全場景綜合負載需求。另外，存儲介質方面，閃存將從三位存儲TLC，過渡到四位存儲QLC，每單位GB的 成本在逐漸降低，容量大幅提升。QLC SSD憑借高性能、低功耗、高密度等優勢，將在讀密集型場景中成為主流 存儲介質。同時，高帶寬內存HBM、CXL、DPU等存儲技術也在持續發展。軟件方面，存儲將更加面向應用場 景，提供豐富的數據管理服務和高效的數據卸載功能。新一代存儲架構將圍繞著更低成本、更高性能、更低能 效、更大容量、更豐富的管理、更快速的運維的方向持續演進。

2.2 AIGC加速數據存儲產業快速增長

隨著AIGC技術在內容創作、數據分析、個性化推薦等領域的廣泛應用，數據量呈指數級增長，這直接推動 了對高效、大容量存儲解決方案的需求。存儲產業因此迎來了前所未有的發展機遇。 首先，AIGC作業流程中需要處理和分析大量數據，這要求存儲設備必須具備高速讀寫能力，以確保數據處 理的實時性和效率。固態硬盤（SSD）因其快速、可靠的特性，成為滿足這一需求的理想選擇。隨著AIGC市場 的擴大，對SSD等高性能存儲設備的需求也將隨之增長。其次，AIGC技術的廣泛應用也促進了存儲技術的創 新。為了滿足AIGC對存儲性能的高要求，存儲企業需要不斷研發新型存儲介質和架構，如3D NAND技術、新型 存儲控制器等，以提升存儲密度和性能。然后，AIGC市場的增長還帶動了存儲產業鏈上下游的協同發展。上游 的存儲介質和芯片制造商需要與下游的存儲設備制造商、系統集成商緊密合作，共同開發出更符合市場需求的 存儲解決方案。這種協同效應有助于整個存儲產業鏈的技術進步和成本優化。最后，AIGC市場的快速發展也對 存儲人才提出了更高要求。既要求具備深厚的專業知識和技能，能夠不斷推動存儲技術的研發和創新，還要能 夠敏銳地捕捉到市場和技術的發展趨勢，為產業升級和轉型提供有力的支持。高素質和高專業素養人才的引入 為企業持續發展注入了不竭動力，如此形成良性循環，加速存儲產業飛速發展。

2.3 AIGC加速數據存儲標準完善

AIGC技術的快速發展，對數據存儲系統提出了新的挑戰，同時也對數據存儲標準提出了更高要求。目前我 國對于數據管理以及數據存儲相關標準大多為基礎共性標準，暫無面向AIGC特定應用領域的標準發布。正在研 究中的《網絡安全技術生成式人工智能預訓練和優化訓練數據安全規范》及《網絡安全技術生成式人工智能數 據標注安全規范》均聚焦網絡信息安全方面，尚未對數據海量存儲的具體需求進行規定。AIGC數據存儲標準的 需求復雜且多樣化，需要各行業共同努力推動技術創新和標準制定工作。通過進一步豐富和完善AIGC相關的標 準和規范，可以推動AIGC標準體系的規劃和建設，促進技術的健康發展，滿足用戶對高質量、高效率數據存儲 的需求。

AIGC數據存儲的新標準可以從以下幾個方面展開： （1）推動行業制定統一的數據存儲接口標準，以降低不同AIGC系統間的數據遷移和整合成本。為了滿足差 異化的數據存儲需求，現有的數據存儲系統存在結構復雜、接口多樣、互操作性差等問題。超融合、多模態存 儲系統得到越來越多的部署應用。制定統一規范的數據存儲接口標準，涵蓋數據傳輸協議、數據格式、數據傳 輸速率、吞吐量、響應時間、接口交互機制等方面，能夠有效提升數據存儲系統的互操作性和一致性。 （2）規范高性能存儲技術的發展。AIGC數據存儲的標準規范與高性能存儲技術的發展相互促進。隨著 AIGC技術的不斷發展，對存儲系統的要求也在不斷提高，極大推動了高性能存儲技術的不斷創新和發展。特別 是，以閃存和固態存儲設備為代表的新型存儲介質以及存算一體技術的大量引入，鼓勵和支持高性能存儲技術的 研發和應用，如全閃存儲、分布式存儲等。生成式人工智能對于數據存儲系統的吞吐量和并發處理能力的高要求，也亟需制定相關標準進一步規范高性能存儲技術發展。

（3）加強數據保護與安全技術的研究。隨著AIGC技術在各類場景的應用愈加廣泛，數據資產的使用和保護 是AIGC技術發展需要重點關注的方向之一。目前尚無數據保護與安全方面的國家標準或行業標準發布。加強數 據加密、數據鑒權、數據標注、訪問控制、審計日志等安全技術的研究和應用應成為今后持續推動的工作內 容，以確保AIGC數據在存儲和傳輸過程中的安全性和隱私保護。 此外，著力促進存儲技術的標準化與互操作性，以及在制定標準時更加關注綠色節能和可持續發展要求， 也應是推動AIGC標準體系的規劃和建設的不可忽略的重要內容。