數(shù)據(jù)存儲(chǔ)與計(jì)算具有怎樣的發(fā)展歷史？

數(shù)據(jù)存儲(chǔ)與計(jì)算發(fā)展歷久彌新。

1960 年信息時(shí)代開啟后，用于存儲(chǔ)、計(jì)算少量結(jié)構(gòu)化數(shù)據(jù)的關(guān)系 型數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)誕生，Oracle、DB2、Teradata 等商業(yè)化產(chǎn)品逐漸 成熟。2000 年互聯(lián)網(wǎng)興起后，結(jié)構(gòu)化數(shù)據(jù)的規(guī)模迅速膨脹、非結(jié)構(gòu)化 數(shù)據(jù)開始涌現(xiàn)，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)能力出現(xiàn)瓶頸，以 Apache Hadoop 為代表的分布式存儲(chǔ)計(jì)算框架成為新的技術(shù)潮流， Cloudera、Hontonworks 等數(shù)家商業(yè)化公司紛紛成立，大數(shù)據(jù)時(shí)代正 式來臨。2010 年移動(dòng)互聯(lián)網(wǎng)逐漸普及后，實(shí)時(shí)推薦、即時(shí)決策需求對(duì) 海量數(shù)據(jù)處理的實(shí)時(shí)性提出更高要求，同時(shí)視頻、音頻、圖片等非結(jié) 構(gòu)化數(shù)據(jù)占比大幅提升， Storm、Flink 等流處理框架受到關(guān)注，數(shù)據(jù) 湖技術(shù)也開始迅速產(chǎn)品化。

技術(shù)方面，經(jīng)過 60 余年發(fā)展，數(shù)據(jù)存儲(chǔ)與計(jì)算領(lǐng)域總體技術(shù)框 架趨于成熟，進(jìn)入深度優(yōu)化階段。數(shù)據(jù)存儲(chǔ)與計(jì)算領(lǐng)域已經(jīng)形成了以 分布式數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、批處理平臺(tái)、流處理平臺(tái)為代表的總體技 術(shù)框架，并廣泛應(yīng)用，已能夠支撐具有高并發(fā)、低延遲數(shù)據(jù)處理分析 需求的極端場(chǎng)景。例如在“雙十一”場(chǎng)景中，大量營(yíng)銷、交易風(fēng)控等 自動(dòng)決策被嵌入業(yè)務(wù)流程，形成了復(fù)雜的數(shù)據(jù)處理分析鏈路。在技術(shù) 能力已相對(duì)成熟的基礎(chǔ)上，以云化、湖倉(cāng)一體為代表的深度優(yōu)化理念 不斷涌現(xiàn)，并逐步應(yīng)用，為數(shù)據(jù)存儲(chǔ)與計(jì)算領(lǐng)域進(jìn)一步降本提質(zhì)提供 了新范式。

產(chǎn)業(yè)方面，全球疫情加速了數(shù)字化轉(zhuǎn)型進(jìn)程，數(shù)據(jù)存儲(chǔ)與計(jì)算領(lǐng) 域的產(chǎn)業(yè)發(fā)展前景持續(xù)向好。國(guó)際方面，國(guó)際云數(shù)據(jù)倉(cāng)庫(kù)巨頭 Snowflake 2022 年第三季度營(yíng)收與去年同期相比上漲 67%，達(dá)到 5.5 億美元；國(guó)內(nèi)方面，2021 上半年我國(guó)大數(shù)據(jù)平臺(tái)市場(chǎng)規(guī)模達(dá) 54.2 億元，同比增長(zhǎng) 43.5%7；2021 年我國(guó)數(shù)據(jù)庫(kù)市場(chǎng)規(guī)模預(yù)計(jì)達(dá) 305.78 億 元，同比增長(zhǎng) 26.93%8。同時(shí)我國(guó)大數(shù)據(jù)基礎(chǔ)軟件第一股星環(huán)科技于 2022 年 10 月成功上市科創(chuàng)板。數(shù)據(jù)存儲(chǔ)與計(jì)算領(lǐng)域市場(chǎng)增長(zhǎng)趨勢(shì)和 行業(yè)預(yù)期持續(xù)向好。

建設(shè)運(yùn)維方面，數(shù)據(jù)存儲(chǔ)與計(jì)算建設(shè)持續(xù)深入，安全穩(wěn)定運(yùn)行成 為關(guān)注焦點(diǎn)。隨著數(shù)字化轉(zhuǎn)型的開啟，工商銀行、建設(shè)銀行、農(nóng)業(yè)銀 行等頭部金融機(jī)構(gòu)，電信、移動(dòng)、聯(lián)通等運(yùn)營(yíng)商，大型互聯(lián)網(wǎng)公司以 及諸多行業(yè)頭部企業(yè)均在數(shù)年前完成數(shù)據(jù)存儲(chǔ)與計(jì)算總體框架建設(shè)。 近年來，隨著數(shù)據(jù)規(guī)模增多、價(jià)值提升，數(shù)據(jù)存儲(chǔ)與計(jì)算技術(shù)平臺(tái)逐 漸復(fù)雜，運(yùn)維使用時(shí)的穩(wěn)定性保障和安全防護(hù)成為難題。2022 年， Google、Twitter 等公司的數(shù)據(jù)存儲(chǔ)與計(jì)算技術(shù)平臺(tái)均發(fā)生故障，同時(shí)， 全球范圍內(nèi)也發(fā)生多起針對(duì)數(shù)據(jù)存儲(chǔ)與計(jì)算技術(shù)平臺(tái)的惡性攻擊，相 應(yīng)安全事件帶來的損失也不斷增高。