就在不久前，整個(gè)數(shù)據(jù)世界還在沸沸揚(yáng)揚(yáng)地討論如何創(chuàng)建集中式數(shù)據(jù)存儲(chǔ)，以最大限度地提高數(shù)據(jù)的可用性，從而達(dá)到高級(jí)分析的目的。博客們大聲疾呼反對(duì)數(shù)據(jù)湖，支持組織良好的數(shù)據(jù)庫(kù)，開(kāi)源社區(qū)團(tuán)結(jié)在Hadoop生態(tài)系統(tǒng)周?chē)髷?shù)據(jù)技術(shù)飛速發(fā)展。本文就這個(gè)狀況回顧一下推動(dòng)數(shù)據(jù)湖采用的一些假設(shè)，并注意一下這些假設(shè)的穩(wěn)定性。

假設(shè)1: "數(shù)據(jù)存儲(chǔ)很貴，所以建立屬于自己的Hadoop數(shù)據(jù)湖，經(jīng)濟(jì)效益看起來(lái)更有吸引力。"

事后看來(lái)，這個(gè)假設(shè)如何？

可以肯定的是，Hadoop中每GB存儲(chǔ)的TCO可以比傳統(tǒng)RDBMS系統(tǒng)的成本低5%甚至更低。但是，即使是最有經(jīng)驗(yàn)的企業(yè)也很快了解到運(yùn)營(yíng)一個(gè)企業(yè)集群有多難。開(kāi)源軟件的不斷更新，管理環(huán)境的技能稀缺，以及生態(tài)系統(tǒng)的相對(duì)不成熟，都造成了難以管理的技術(shù)故障和依賴(lài)性。除此之外，一旦Hadoop完成了三次數(shù)據(jù)復(fù)制，管理員需要快照和副本來(lái)克服Hadoop更新的局限性，1TB的RDBMS數(shù)據(jù)可能會(huì)在湖中變成50TB。這些節(jié)省下來(lái)的錢(qián)就這么多了。

新興的現(xiàn)實(shí)：云和云數(shù)據(jù)倉(cāng)庫(kù)

亞馬遜、微軟和谷歌急于用托管的、基于云的環(huán)境來(lái)填補(bǔ)這些生產(chǎn)力的空白，這些環(huán)境簡(jiǎn)化了管理，使數(shù)據(jù)科學(xué)家更快地提高生產(chǎn)力。接下來(lái)，消費(fèi)模式取代了Hadoop on-pre環(huán)境的資本成本，這意味著人們不太愿意簡(jiǎn)單地將所有大型數(shù)據(jù)集傾倒到一個(gè)中央環(huán)境中。相反，他們根據(jù)分析需要加載數(shù)據(jù)。因此，這就產(chǎn)生了從大型的on-prem數(shù)據(jù)湖轉(zhuǎn)移到小型的基于云的數(shù)據(jù)池塘的效果，這些數(shù)據(jù)池塘是為目的而建立的。再進(jìn)一步，新的云倉(cāng)庫(kù)通過(guò)基于SQL的工具使訪(fǎng)問(wèn)和查詢(xún)這些數(shù)據(jù)變得簡(jiǎn)單，這進(jìn)一步向非技術(shù)消費(fèi)者釋放了數(shù)據(jù)的價(jià)值。

假設(shè)2: "大數(shù)據(jù)太大了，搬不動(dòng)。移動(dòng)一次數(shù)據(jù)，把電腦移到數(shù)據(jù)上"。

事后看來(lái)，這個(gè)假設(shè)是怎樣的？

數(shù)據(jù)湖的一個(gè)關(guān)鍵假設(shè)是，網(wǎng)絡(luò)和處理速度的限制意味著我們無(wú)法將日志文件等數(shù)據(jù)的大副本移動(dòng)到集群中進(jìn)行數(shù)據(jù)分析。Hadoop也是面向批處理的，這意味著這些類(lèi)型數(shù)據(jù)的大批量處理是非常不切實(shí)際的。事實(shí)證明，數(shù)據(jù)復(fù)制和流媒體的改進(jìn)，以及網(wǎng)絡(luò)方面的巨大收益，導(dǎo)致這種情況沒(méi)有我們想象的那么真實(shí)。

新興的現(xiàn)實(shí)：數(shù)據(jù)虛擬化和流媒體

技術(shù)的改進(jìn)意味著企業(yè)可以選擇如何訪(fǎng)問(wèn)數(shù)據(jù).也許，他們希望將查詢(xún)從事務(wù)性系統(tǒng)卸載到云環(huán)境中；數(shù)據(jù)復(fù)制和流媒體現(xiàn)在是簡(jiǎn)單的解決方案。也許，交易系統(tǒng)是為高性能查詢(xún)而構(gòu)建的；在這種情況下，數(shù)據(jù)虛擬化功能可以使該數(shù)據(jù)按需提供。因此，企業(yè)現(xiàn)在可以選擇讓數(shù)據(jù)更多地按需提供給DataOps流程，這意味著并不總是需要將所有企業(yè)數(shù)據(jù)物理地集中在一個(gè)位置。

假設(shè)3: "讀時(shí)的數(shù)據(jù)湖模式將取代寫(xiě)時(shí)的數(shù)據(jù)倉(cāng)庫(kù)模式。"

事后看來(lái)，這個(gè)假設(shè)如何？

人們已經(jīng)厭倦了IT團(tuán)隊(duì)將ETL寫(xiě)入數(shù)據(jù)倉(cāng)庫(kù)所花費(fèi)的時(shí)間，并迫切希望簡(jiǎn)單地釋放數(shù)據(jù)科學(xué)家對(duì)原始數(shù)據(jù)的處理。有兩個(gè)主要的癥結(jié)所在。首先，數(shù)據(jù)科學(xué)家往往不能輕易地找到他們要找的數(shù)據(jù).其次，一旦他們有了數(shù)據(jù)，分析負(fù)責(zé)人很快就會(huì)發(fā)現(xiàn)，他們的ETL只是被數(shù)據(jù)糾纏工具所取代，因?yàn)閿?shù)據(jù)科學(xué)仍然需要清理，如標(biāo)準(zhǔn)化和外鍵匹配。

新興的現(xiàn)實(shí)：數(shù)據(jù)目錄和數(shù)據(jù)運(yùn)營(yíng)

 智能數(shù)據(jù)目錄已經(jīng)成為尋找所需數(shù)據(jù)的關(guān)鍵。現(xiàn)在，企業(yè)正試圖通過(guò)簡(jiǎn)單的解決方案，在工作場(chǎng)所建立起用戶(hù)在家中享受的谷歌搜索一樣的搜索方式，以查找和訪(fǎng)問(wèn)數(shù)據(jù)，而不管保存數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)的物理位置在哪里。DataOps流程也已經(jīng)出現(xiàn)，它是建立基于領(lǐng)域的數(shù)據(jù)集的一種方式，這些數(shù)據(jù)集經(jīng)過(guò)精心規(guī)劃和管理，可以實(shí)現(xiàn)最大的分析生產(chǎn)力。因此，數(shù)據(jù)科學(xué)家應(yīng)該能夠輕松地找到并信任他們用來(lái)發(fā)現(xiàn)新的見(jiàn)解的數(shù)據(jù)，經(jīng)過(guò)深思熟慮的技術(shù)和流程的融合應(yīng)該能夠使數(shù)據(jù)管道和分析管道快速運(yùn)行，以支持這些新發(fā)現(xiàn)。這個(gè)過(guò)程可以實(shí)現(xiàn)實(shí)時(shí)分析。

在Qlik尋求現(xiàn)代化的數(shù)據(jù)分析架構(gòu)時(shí)，這些關(guān)鍵的新興現(xiàn)實(shí)是他們需要思考的重點(diǎn)：

• 基于云的應(yīng)用和分析架構(gòu)
• 數(shù)據(jù)倉(cāng)庫(kù)/RDBMS結(jié)構(gòu)在云中的重新崛起，以實(shí)現(xiàn)價(jià)值最大化（想想Snowflake）。
• 數(shù)據(jù)流以減少關(guān)鍵數(shù)據(jù)的延遲
• 數(shù)據(jù)虛擬化，以減少數(shù)據(jù)的復(fù)制，直到需要為止。
• 數(shù)據(jù)目錄，仔細(xì)清點(diǎn)和管理企業(yè)數(shù)據(jù)的訪(fǎng)問(wèn)。
• DataOps流程的出現(xiàn)，為數(shù)據(jù)和分析管道創(chuàng)造了快速上市的時(shí)間。

點(diǎn)擊獲取Qlik

關(guān)于Qlik

Qlik的愿景是一個(gè)數(shù)據(jù)素養(yǎng)的世界，每個(gè)人都可以使用數(shù)據(jù)來(lái)改善決策并解決他們最具挑戰(zhàn)性的問(wèn)題。只有Qlik提供端到端的實(shí)時(shí)數(shù)據(jù)集成和分析解決方案，以幫助組織訪(fǎng)問(wèn)所有數(shù)據(jù)并將其轉(zhuǎn)化為價(jià)值。慧都作為Qlik官方的中國(guó)合作伙伴，我們?yōu)镼lik的中國(guó)用戶(hù)提供產(chǎn)品授權(quán)與實(shí)施、定制分析方案、技術(shù)培訓(xùn)等服務(wù)，旨在讓中國(guó)企業(yè)的每個(gè)Qlik用戶(hù)都能探索出數(shù)據(jù)的價(jià)值，讓企業(yè)形成分析文化。了解更多信息，請(qǐng)咨詢(xún)在線(xiàn)客服>>