GetInsight是慧都自主研發、應用最靈活的大數據平臺。能夠幫助您隨時找到您想要的數據，使數據得到安全、穩定和高效的管理與應用。GetInsight是企業大數據解決方案的重要組成部分，除了提供完整的大數據功能組件，我們還提供組件自定義搭配，為企業選擇滿足方案需要的大數據功能組件，使您的大數據解決方案成本降到最低，從而高品質的解決您的大數據需求問題。

了解什么是GetInsight，請點擊這里查看GetInsight的基礎介紹>>

本文主要跟大家介紹GetInsight的系統綜合管理平臺、分布式計算框架和分布式MLlib。

系統綜合管理平臺

系統綜合管理平臺是大數據平臺的管理軟件，通過棧的形式提供Service的組合使用，簡化了部署過程，使集群快速運行起來。它具備大數據其他組件的安裝、管理、運維等基本功能，提供Web UI進行可視化的集群管理，簡化了大數據平臺的安裝、使用難度。同時，它實現集群狀態的監控，可以方便的通過瀏覽器交互并進行參數的修改和節點擴展。

管控組件有自身的用戶管理系統，基于RBAC賦予用戶對集群的管理權限。同時，它支持基于Kerberos的認證系統，提供了基于角色的用戶認證、授權和審計功能，并為用戶管理集成了LDAP和Active Directory。

管控組件的實現使用了很多開源組件，其中：

1. 在Agent端，采用了puppet管理節點；
2. 在Web端，采用了ember.js作為前端的MVC構架和NodeJS相關工具，用handlebars.js作為頁面渲染引擎，在CSS/HTML方面還用了Bootstrap 框架；
3. 在Server端，采用了Jetty, Spring，Jetty，JAX-RS等；
4. 同時利用了Ganglia，Nagios的分布式監控能力。

GetInsight系統綜合管理平臺的功能

操作級別

集群管控組件支持三種不同類型的操作級別，它們分別是：

• Service Level Action - 基于Service級別的操作粒度管理，例如Mapreduce作業、Spark作業、Tez作業等；
• Host Level Action - 基于機器級別的操作粒度管理，例如開啟或停止文件系統集群、分布式數據庫等；
• Component Level Action - 基于模塊級別的操作粒度管理，例如在單個節點開啟或停止文件系統或分布式數據庫的數據節點等。

用戶管理

管控組件有自身的用戶與角色管理系統，組件默認的權限有下面幾種：

• Cluster User - 以只讀的權限查看集群和Service的信息，如節點配置、service狀態、健康狀態等。
• Service Operator - 能夠操作Service的生命周期，如啟動，停止，也可以進行一些如平衡負載和的資源管理進程刷新操作
• Service Administrator - 在Service Operator的基礎上增加了配置service，移動管理節點，啟用HA等操作
• Cluster Operator - 在Service Administrator的基礎上增加了對節點和集群成員的操作，如增加，刪除集群成員等
• Cluster Administrator - 集群的超級管理員，可以操作任何組件。

集群監控

集群管控組件實現的集群監控，主要體現在下面幾個方面：

• 作業監控 - 支持作業與任務執行的可視化與分析，能夠更好地查看依賴和性能。
• 狀態查看 - 用戶界面非常直觀，用戶可以輕松有效地查看集群當前信息并控制集群。
• 通知系統 - 當需要引起關注時，例如節點停機或磁盤剩余空間不足等問題，系統將向其發送郵件。
• 組件導向 - 集群管控組件并沒有對其他組件進行過多的功能集成，為了盡量保持了跟原生大數據組件的隔離性，通過Quick Links 直接導向其他組件的管理界面。

告警機制

為了幫助用戶鑒別以及定位集群的問題，實現了告警機制（Alert）。很多告警已經被提前設定并默認維持，這些告警用于監測集群的各個模塊以及機器的狀態。對于告警來說，主要有兩個概念，一個是Alert Definition，一個是 Alert Instance。顧名思義，Alert Definition 就是告警的定義，其中會定告警的檢測時間間隔（interval）、類型（type）、以及閾值（threshold）等。這些定義會被定期讀取，然后創建對應的實例（instance）。例如 MapReduce2 這個 Service 就定義了兩個告警“History Server WEB UI”和“History Server Process”來定期檢查 History Server 模塊的狀態。

告警的檢查結果會以五種級別呈現，分別是 OK、WARNING，CRITICAL、UNKNOW 和 NONE。其中最常見的是前三種。告警分為 5 種類型，分為 WEB、Port、Metric、Aggregate 和 Script。具體的區別見下面的表格。

分布式計算框架

分布式MLlib

分布式MLlib一個常用的分布式機器學習算法庫，算法被實現為對RDD的Spark操作。機器學習是一門涉及概率論、統計學、逼近論、凸分析、算法復雜度理論等多領域的交叉學科，專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。MLlib目前已經提供了基礎統計、分析、回歸、決策樹、隨機森林、樸素貝葉斯、保序回歸、協同過濾、聚類、維數縮減、特征提取與轉型、頻繁模式挖掘、預言模型標記語言、管道等多種數理統計、概率論、數據挖掘方面的數學算法，可以分為回歸、分類、聚類、協同過濾四類。分布式計算框架立足于內存計算，天然的適應于迭代式計算，符合機器學習平臺所要求的強大處理能力。機器學習的運行流程如下

關于慧都大數據分析平臺

慧都大數據分析平臺「GetInsight®」升級發布，將基于企業管理駕駛艙、產品質量分析及預測、設備分析及預測等大數據模型的構建，助力企業由傳統運營模式向數字化、智能化的新模式轉型升級，抓住數據經濟的發展勢頭，提供管理效能，精準布局未來。了解更多，請聯系。

慧都大數據專業團隊為企業提供商業智能大數據平臺搭建，免費業務咨詢，定制開發等完整服務，快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業的大數據團隊，為您提供免費大數據相關業務咨詢！