數據存儲與計算發展呈現出什么特點？

當前數據存儲與計算發展呈現三大特點。

1. 云化改造全面加速

數據存儲與計算技術持續與云融合，資源利用率進一步提升。隨 著云計算的發展，數據存儲與計算技術逐漸從私有部署轉化為云上部 署，初期體現為部署模式的不同，但伴隨著云原生理念的興起，云原 生數據存儲與計算產品開始成為產業變革浪潮。利用云原生理念，數 據存儲與計算一方面實現存儲、計算、調度、安全、分析等模塊的進一步解耦，各模塊與容器等底層資源單元相適配，實現彈性擴縮容， 從而使得資源利用率提升 30%~40%；另一方面實現應用接口函數化， 即利用 Serverless 的理念，將更多如統計、機器學習、流程處理等能 力封裝成函數接口，實現更細粒度的按需使用和付費，在提升 2~3 倍 發布效率的同時，有效降低成本。近年來，華為、騰訊云、阿里云、 百度、星環等國內主流大數據企業均推出云原生數據湖、云原生數據 平臺等產品。2022 年阿里云首款 Serverless 數據庫產品 RDS MySQL Serverless 正式商業化，PingCAP 在 HTAP Summit 上宣布 TiDB Cloud Serverless Tier BETA 版正式發布。

2. 融合一體化持續加深

批流一體、湖倉一體、HTAP（Hybrid Transaction Analytical Processing，混合事務與分析處理）等融合架構不斷降低運維成本。隨 著數字化轉型的深入，企業通常會針對不同的業務場景、不同的數據 模型搭建不同的平臺系統，帶來了數據冗余、數據一致性差、資源配 置難、系統復雜等問題，極大增加了運維的壓力與成本。為解決上述 問題，數據存儲與計算領域各技術產品轉向融合架構成為趨勢，例如 將批處理技術與流處理技術融合的批流一體技術框架、打通數據倉庫 和數據湖技術的湖倉一體技術框架以及同時具備在線事務處理及分 析的混合事務分析處理技術。建立融合架構后，統一的接口層、計算 層、存儲層、資源調度層實現了對海量數據的統一管理和集群服務的 統一運維，大幅降低了運維綜合成本。國內外廠商紛紛提出自己的融 合架構解決方案。例如，近年來海外廠商 Databricks 同戴爾推出 DataLakeHouse、亞馬遜推出智能湖倉架構，2022 年國內廠商巨杉數據庫 推出 SequoiaDB、阿里云推出 MaxCompute 湖倉一體方案、星環科技 推出星環湖倉一體 V2.0 等。

數據中間件技術為計算層與異構存儲層搭建橋梁，提升整體運行 效率，進一步加速數據平臺融合一體化。在存算分離后，存儲層為滿 足不同類型數據存儲的需求，文件存儲、對象存儲、表存儲等多種異 構存儲引擎同時存在。計算層和異構存儲引擎之間的連通復雜度越來 越高，數據中間件技術應運而生，其通過內置兼容接口和加速技術， 助力計算層與異構存儲層高速互聯。例如開源的 Alluxio 向上對接 Spark、Presto、Hive、TensorFlow 等計算應用，向下對接阿里云 OSS 對象存儲、AWS S3 存儲、HDFS 等不同存儲，可提升 I/O 效率 200% 以上；ShardingSphere 將多類異構數據庫 MySQL、PostgreSQL、Oracle、 SQL Server、openGauss 等包裝為統一數據庫訪問接口，從而方便多 種編程語言直接訪問多類異構數據庫。

3. 安全能力快速補強

數據存儲與計算面臨著新型安全挑戰，內生安全正成為傳統防護 的重要補充。一是隨著自身規模不斷龐大，數據存儲與計算技術平臺 的邊界不斷延伸，網絡安全防護體系隨之指數級膨脹，容易出現盲點、 漏點；二是伴隨數據開發利用的深化，數據存儲與計算技術平臺中的 關鍵數據與其他系統將進行高頻的互聯互通，安全和效率難以均衡； 三是數據存儲與計算技術平臺的技術組件 60%以上基于開源技術，容 易遭遇“0day”攻擊；四是數據存儲與計算技術平臺中數據集中存儲，但操作人員類型多、數量多、變更多，操作頻次高，存在數據泄露風 險。2022 年 1 月，美國交通運輸業商業信用報告機構 TransCredit 因 配置錯誤致使數據庫無密碼保護，共計涉及 50 萬人財務數據的 60 多 萬條信用記錄泄露；2022 年 6 月，土耳其飛馬航空公司因其 AWS 云 存儲桶未受保護，發生總計約 6.5TB 的數據泄露，其中包含敏感的飛 行數據；2022 年 10 月，跨國集團湯森路透因配置錯誤導致存有 3TB 敏感數據的 Elasticsearch 數據庫發生泄漏。近年來頻發的數據泄漏事 件，使得全密態執行環境、敏感數據自動識別、高效數據加解密、細 粒度的權限控制、零信任等內生安全技術在數據存儲與計算技術產品 中的應用不斷增加，與傳統網絡安全防護相輔相成。近一年，華為云、 阿里云相繼推出全密態數據庫，星環科技 TDH、阿里云 Dataworks 紛 紛加入敏感數據識別能力，亞馬遜 RDS 增加內置防火墻。