今天的數(shù)據(jù)格局以指數(shù)級增長的數(shù)據(jù)為特征，包括各種結構化，非結構化和半結構化數(shù)據(jù)類型，這些數(shù)據(jù)類型源自位于本地，云端和邊緣的不斷增加的不同數(shù)據(jù)源。與不斷發(fā)展的數(shù)據(jù)生態(tài)系統(tǒng)相結合，企業(yè)需要可靠，可信任，現(xiàn)時的數(shù)據(jù)，以實現(xiàn)實時可操作的洞察力。面向當今企業(yè)面臨的現(xiàn)代數(shù)據(jù)生態(tài)系統(tǒng)挑戰(zhàn)，出現(xiàn)了大數(shù)據(jù)結構(Big Data Fabric)。

什么是大數(shù)據(jù)結構？

大數(shù)據(jù)結構提供了一種全面的方法論來克服快速增長的數(shù)據(jù)，不斷變化的應用程序需求和分布式處理需求的挑戰(zhàn)。 Forrester將大數(shù)據(jù)結構描述為“通過自動，智能，安全地編排業(yè)務數(shù)據(jù)源，然后在Hadoop和Apache Spark等大數(shù)據(jù)平臺，數(shù)據(jù)湖，內存和NoSQL中準備和處理業(yè)務數(shù)據(jù)之統(tǒng)一、可信和全面的視圖。”

在實際使用中大數(shù)據(jù)結構包含以下6個層，它們協(xié)調工作，提供大數(shù)據(jù)的無縫，實時集成：

• 數(shù)據(jù)攝取
• 數(shù)據(jù)處理和持久性
• 數(shù)據(jù)編排
• 數(shù)據(jù)發(fā)現(xiàn)
• 數(shù)據(jù)管理和智能
• 數(shù)據(jù)訪問

大數(shù)據(jù)結構可以涵蓋各種數(shù)據(jù)位置和來源。 它可以處理，管理，分析和存儲來自眾多來源的幾乎任何數(shù)量的數(shù)據(jù)，以及通過采用各種接口的應用程序和工具訪問這些數(shù)據(jù)。

誰應該關心大數(shù)據(jù)結構？

對于數(shù)據(jù)至關重要但卻因為傳統(tǒng)系統(tǒng)過于緩慢，過于隔離且效率低下而難以及時收集公司和外部數(shù)據(jù)組合，因而難以得到可靠，可操作的洞察力的企業(yè)應該關注大數(shù)據(jù)結構。

同樣，業(yè)務部門以不同格式存儲來自不同系統(tǒng)的大量數(shù)據(jù)的大公司，因此造成大數(shù)據(jù)孤島，導致必須手動集成大型數(shù)據(jù)集，從而侵蝕企業(yè)大數(shù)據(jù)投資，也應該關注大數(shù)據(jù)結構。

大數(shù)據(jù)結構有什么好處？

大數(shù)據(jù)結構為企業(yè)提供了一種永久性和可擴展的機制，可以在一個統(tǒng)一平臺中整合其所有數(shù)據(jù)。大數(shù)據(jù)結構利用來自多個異構節(jié)點的存儲和處理能力，實現(xiàn)企業(yè)范圍內對企業(yè)所有數(shù)據(jù)資產的訪問。根據(jù)Forrester的說法，大數(shù)據(jù)結構幫助企業(yè)“......快速攝取，轉換，編排和準備流式和批量數(shù)據(jù)，以支持客戶和業(yè)務的實時可信視圖。”

此外，大數(shù)據(jù)結構使公司能夠：

• 通過內部部署和云數(shù)據(jù)源有效整合大數(shù)據(jù)資產，以全面了解企業(yè)范圍的信息。
• 實時訪問最新數(shù)據(jù)。
• 輕松搭載新的大數(shù)據(jù)系統(tǒng)并淘汰舊系統(tǒng)，同時保持業(yè)務系統(tǒng)連續(xù)運行而不會中斷。

從解決問題的角度來看，大數(shù)據(jù)結構克服了數(shù)據(jù)可用性不足，數(shù)據(jù)存儲和安全性不可靠，孤立數(shù)據(jù)，可擴展性差以及對表現(xiàn)不佳的傳統(tǒng)系統(tǒng)的依賴等挑戰(zhàn)。

大數(shù)據(jù)結構支持哪些用例？

大數(shù)據(jù)結構支持的各種用例包括實時洞察和機器學習，以及流式和高級分析。 它支持跨各種大數(shù)據(jù)平臺（如數(shù)據(jù)湖，Hadoop和NoSQL）編排數(shù)據(jù)流和數(shù)據(jù)整理，以支持單一版本的事實，客戶個性化和高級大數(shù)據(jù)分析。 Forrester認可的頂級大數(shù)據(jù)結構用例包括客戶360度視圖，物聯(lián)網(wǎng)（IoT）分析以及實時和高級分析。

Cloudera企業(yè)平臺作為大數(shù)據(jù)結構

Forrester認為Cloudera（以及2019年1月與Cloudera合并的Hortonworks）是大數(shù)據(jù)結構的前15大廠商之一。 Cloudera的年收入超過1億美元，被定位為大數(shù)據(jù)結構的“大型參與者”。其理念見Forrester以下圖1。

下面的圖2描述了Cloudera企業(yè)平臺如何實現(xiàn)六層大數(shù)據(jù)結構體系結構。 Cloudera企業(yè)平臺作為大數(shù)據(jù)結構的四個主要優(yōu)點將在后面段落中介紹。

1、高價值分析

企業(yè)尋求高價值，敏捷的分析。組織需要一個可以支持其業(yè)務目標的統(tǒng)一數(shù)據(jù)管理和分析平臺。企業(yè)正在尋求更高的靈活性來檢測變化并主動響應。 Cloudera 企業(yè)版是一站式方案，可跨內部部署和云，有時是實時數(shù)據(jù)源，運行針對多個數(shù)據(jù)源的分析模型和算法。

Cloudera支持從邊緣到AI的高價值分析用例，包括主動和預測性維護，針對通信的基于使用情況的分析，推薦引擎，企業(yè)風險管理，反洗錢，欺詐檢測/預防，網(wǎng)絡安全和機器模型。

2、共享數(shù)據(jù)目錄以保留上下文并實施治理

數(shù)據(jù)目錄對于分享有關分布式數(shù)據(jù)的知識以及改進數(shù)據(jù)質量，信任和治理至關重要。

數(shù)據(jù)目錄提供：

（a）統(tǒng)一的數(shù)據(jù)和元數(shù)據(jù)視圖，以便于搜索和發(fā)現(xiàn)數(shù)據(jù)資產。

（b）跟蹤和管理數(shù)據(jù)使用和共享的能力。

（c）跨分析生命周期的一致數(shù)據(jù)上下文。

Cloudera的共享數(shù)據(jù)目錄定義并保留跨分析生命周期的分布式異構數(shù)據(jù)的結構和業(yè)務環(huán)境，使數(shù)據(jù)使用者能夠提取業(yè)務價值。此共享數(shù)據(jù)目錄強制遵守數(shù)據(jù)安全性，隱私，保留策略和流程，以確保使用者的持續(xù)信任，并促進遵守法規(guī)和法律要求。

3、所有分析工作負載的高性能

傳統(tǒng)數(shù)據(jù)平臺無法滿足現(xiàn)代數(shù)據(jù)生態(tài)系統(tǒng)眾多需求所需的規(guī)模，多樣性和速度。此外，分析工作負載變得越來越大，越來越復雜，因此對高性能分析的交付更具挑戰(zhàn)性。 Cloudera 企業(yè)版以經(jīng)濟高效的方式為各種分析工作負載提供按需彈性規(guī)模和多租戶功能。它在單一平臺上提供全方位的功能，包括數(shù)據(jù)攝取，數(shù)據(jù)處理，數(shù)據(jù)發(fā)現(xiàn)以及描述性，規(guī)范性和預測性分析。

4、靈活/與位置無關的基礎架構

企業(yè)尋求地點透明性。因此，他們需要靈活的基礎架構來隨處運行分析，包括云中，所有設備和多個不同云平臺上的更多應用程序。 Cloudera支持邊緣，數(shù)據(jù)中心，公共云或其任何組合的應用程序和業(yè)務解決方案。

慧都大數(shù)據(jù)專業(yè)團隊為企業(yè)提供Cloudera大數(shù)據(jù)平臺搭建，免費業(yè)務咨詢，定制開發(fā)等完整服務，快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。

大數(shù)據(jù)結構為企業(yè)提供了一個機會，可以用可行的解決方案替換原有系統(tǒng)，以滿足業(yè)務需求，統(tǒng)一數(shù)據(jù)，簡化和加速當今復雜數(shù)據(jù)環(huán)境中的工作負載。 Cloudera 企業(yè)版作為大數(shù)據(jù)結構，是創(chuàng)建統(tǒng)一數(shù)據(jù)環(huán)境以實現(xiàn)現(xiàn)代化和加速復雜數(shù)據(jù)管理和分析工作負載的理想選擇。

//本文轉載自Cloudera中國