許多公司都在為管理海量數(shù)據(jù)不斷努力。以前，他們都使用數(shù)據(jù)倉庫平臺，用這種傳統(tǒng)架構(gòu)在處理來自內(nèi)部和外部數(shù)據(jù)源的數(shù)據(jù)時有很大困難，這些數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容類型通常非常多樣化，但Hadoop可以對此場景提供幫助。Hadoop是一款分布式處理架構(gòu)，專門用來處理復雜的海量大數(shù)據(jù)，處理結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)混雜的場景。

Hadoop的部分優(yōu)勢在于，它有許多種開源組件和相關(guān)工具，可以完成數(shù)據(jù)捕獲、處理、管理和分析工作。為了幫助用戶利用好該框架，許多供應(yīng)商提供了商業(yè)版Hadoop分布式產(chǎn)品，它們在Hadoop基礎(chǔ)之上提供了性能和功能方面的擴展，并提供對該框架的維護和支持服務(wù)。

Hadoop分布式應(yīng)用的案例場景

Hadoop運行在商用服務(wù)器集群環(huán)境中，這種環(huán)境通常用來支持數(shù)據(jù)分析而不是聯(lián)機事務(wù)處理應(yīng)用。有幾種更加通用的分析應(yīng)用案例可以很好地展示Hadoop分布式數(shù)據(jù)處理和并行計算模型：

• 業(yè)務(wù)智能應(yīng)用要從事務(wù)處理系統(tǒng)和組織資產(chǎn)系統(tǒng)中捕獲流式數(shù)據(jù)，監(jiān)視性能水平，應(yīng)用預測分析做預備維護或者處理變更。
• Web分析本來是為了幫助公司理解站點訪問者的在線活動情況，通過檢查Web服務(wù)器日志來檢測系統(tǒng)性能問題，發(fā)掘營銷信息。
• 安全和風險管理，例如：運行分析模型把事務(wù)數(shù)據(jù)與欺詐活動模式知識庫做比較，利用持續(xù)網(wǎng)絡(luò)安全分析識別新出現(xiàn)的可疑行為。
• 營銷優(yōu)化，包括利用大量網(wǎng)絡(luò)點擊和在線銷售數(shù)據(jù)，再結(jié)合客戶檔案信息設(shè)計形成推薦引擎提供實時產(chǎn)品捆綁銷售建議。
• 物聯(lián)網(wǎng)應(yīng)用，例如從制造業(yè)設(shè)備、管道和所謂智能建筑安置的傳感器終端獲取數(shù)據(jù)做分析，這些傳感器會持續(xù)生成并廣播關(guān)于狀態(tài)和性能的信息。
• 語義分析和品牌保護，可能需要捕獲流式社交媒體數(shù)據(jù)并分析文本，識別出有意見的客戶提出的問題并快速解決。
• 大數(shù)據(jù)收集、處理和整合場景，例如捕獲衛(wèi)星圖像和地理空間數(shù)據(jù)。
• 數(shù)據(jù)暫存，Hadoop用于做第一手數(shù)據(jù)的存儲，然后才會做整合、清洗和轉(zhuǎn)換為更加結(jié)構(gòu)化的格式，未來加載到數(shù)據(jù)倉庫或分析數(shù)據(jù)庫用于分析。

Hadoop分布式應(yīng)用的實現(xiàn)方式

支持以上這些應(yīng)用場景的應(yīng)用都可以基于Hadoop構(gòu)建，可以使用一些典型的實現(xiàn)方法。說明如下：

• 數(shù)據(jù)湖。因為Hadoop提供了線性擴展能力，集群架構(gòu)中很容易加入新數(shù)據(jù)節(jié)點做處理和存儲，因此它提供了非常自然的平臺用于捕獲和管理原始數(shù)據(jù)文件。基于這一特性，許多用戶把Hadoop系統(tǒng)用作捕獲所有數(shù)據(jù)的平臺，創(chuàng)造了數(shù)據(jù)湖的概念。
• 增強的數(shù)據(jù)倉庫平臺。Hadoop分布式存儲還可以用于擴展數(shù)據(jù)，供數(shù)據(jù)倉庫環(huán)境訪問用于分析。最頻繁使用的“熱數(shù)據(jù)”存儲在數(shù)據(jù)倉庫中，而不太頻繁的“冷數(shù)據(jù)”可以提交到更高延時的存儲，例如Hadoop分布式文件系統(tǒng)。這種方法依賴于數(shù)據(jù)倉庫與Hadoop集成的緊耦合。
• 大規(guī)模批量計算引擎。如果配置了數(shù)據(jù)和計算節(jié)點，Hadoop就變成了大規(guī)模并行處理平臺，可以用于批量處理應(yīng)用做數(shù)據(jù)操作和分析。數(shù)據(jù)標準化就是很好的例子，可以對數(shù)據(jù)集應(yīng)用轉(zhuǎn)換任務(wù)為分析做準備。算法驅(qū)動的分析應(yīng)用(例如數(shù)據(jù)挖掘、機器學習、模式分析和預測模型)都可以用到Hadoop的批處理能力，因為他們都需要針對海量分布式數(shù)據(jù)文件并行處理，并疊加并行處理結(jié)果后提供最終結(jié)果集。
• 事件流分析處理引擎。Hadoop環(huán)境還可以配置為實時或準實時處理收到的數(shù)據(jù)流。例如，客戶感受分析應(yīng)用可以把多個通訊代理并行運行于Hadoop集群上，每個代理都有一套處理規(guī)則。

選擇Hadoop的優(yōu)勢：它真的適合你嗎?

Hadoop是低成本高性能的計算框架，可以處理各種IT和業(yè)務(wù)場景中組織對擴展處理能力或者擴展數(shù)據(jù)管理能力的需求。下面總結(jié)一下應(yīng)用需求的特點以及建議選擇的基于Hadoop分布式應(yīng)用的數(shù)據(jù)管理平臺。

獲取和處理大數(shù)據(jù)規(guī)范集、大規(guī)模非結(jié)構(gòu)化數(shù)據(jù)和流式數(shù)據(jù)。例如，捕獲包含數(shù)十億在線事件信息的Web服務(wù)器日志;跨不同數(shù)據(jù)集索引億級文檔;從眾多渠道持續(xù)拉取數(shù)據(jù)流(諸如：社交媒體渠道、證券市場數(shù)據(jù)、新聞發(fā)布源和專家團隊發(fā)布的內(nèi)容等渠道)。

• 排除性能障礙的需求。在傳統(tǒng)數(shù)據(jù)倉庫系統(tǒng)中，通常會有節(jié)流閥控制對數(shù)據(jù)的訪問、延時、可用性或者貸款限制來保障應(yīng)用性能，這與需要處理的數(shù)據(jù)量有關(guān)。
• 針對性能的線性可擴展性。隨著數(shù)據(jù)量的增長和用戶數(shù)增加，環(huán)境性能可以隨著計算能力和存儲資源線性擴展是非常關(guān)鍵的能力，尤其是在應(yīng)用程序適合并行計算的場景下更是如此。
• 結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的混合場景。應(yīng)用程序需要使用不同數(shù)據(jù)源的數(shù)據(jù)，包括結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化的數(shù)據(jù)。例如：文本數(shù)據(jù)或者服務(wù)器日志數(shù)據(jù)。
• IT成本有效性。不需要花費購買高端服務(wù)器或者專門的硬件設(shè)備，系統(tǒng)架構(gòu)師相信使用正常配置就可以達到可接受的性能。

Hadoop應(yīng)用到企業(yè)中

盡管把Hadoop平臺整合到企業(yè)應(yīng)用中是完全可行的，但使用Hadoop獲益仍然要考慮權(quán)衡。因為許多組織已經(jīng)在傳統(tǒng)數(shù)據(jù)倉庫平臺上做了巨大投資，因此引入更新的技術(shù)可能會遇到一些阻力。在引入Hadoop分布式產(chǎn)品供應(yīng)商之前，需要先解決潛在的障礙，評估集群規(guī)模和配置需求。

例如，要判斷Hadoop集群如何與組織的數(shù)據(jù)倉庫和分析策略融合，判斷是否可以增強現(xiàn)有數(shù)據(jù)倉庫功能甚至替換它。另外，要判斷整合和交互方面需要處理的問題，審查配置可替代物，包括是否可以更有利于實施內(nèi)部Hadoop生態(tài)系統(tǒng)，或者基于云或者托管環(huán)境。此外，要確保你已經(jīng)聘用了具備相應(yīng)技能的員工或者對現(xiàn)有職員進行再培訓。Hadoop應(yīng)用開發(fā)與傳統(tǒng)數(shù)據(jù)庫開發(fā)差異是很大的。

本文轉(zhuǎn)載自