發展背景

隨著數據庫技術的廣泛應用，企業信息系統產生了大量的數據，如何從這些海量數據中提取對企業決策分析有用的信息成為企業決策管理人員所面臨的重要難題。傳統的企業數據庫系統即聯機事務處理系統（On-Line Transaction Processing,簡稱OLTP）作為數據管理手段，主要用于事務處理，但它對分析處理的支持一直不能令人滿意。因此，人們逐漸嘗試對OLTP數據庫中的數據進行再加工，形成一個綜合的、面向分析的、更好的支持決策制定的決策支持系統（Decision Support System，簡稱DSS）。

企業的信息系統的數據一般由DBMS管理，但決策數據庫和運行操作數據庫在數據來源、數據內容、數據模式、服務對象、訪問方式、事務管理乃至物理存儲等方面都有不同的特點和要求，因此直接在運行操作的數據庫上建立DSS是不合適的。數據倉庫（Data Warehouse）技術就是在這樣的背景下發展起來的。數據倉庫的概念提出于20世紀80年代中期，20世紀90年代，數據倉庫已從早期的探索階段走向實用階段。數據倉庫中數據量巨大，為了提高性能，RDBMS一般也采取一些提高效率的措施：采用并行處理結構、新的數據組織、查詢策略、索引技術等等。

聯機分析處理（On-Line AnalyticalProcessing，簡稱OLAP）系統是數據倉庫系統最主要的應用，專門設計用于支持復雜的分析操作，側重對決策人員和高層管理人員的決策支持，可以根據分析人員的要求快速、靈活地進行大數據量的復雜查詢處理，并且以一種直觀而易懂的形式將查詢結果提供給決策人員，以便他們準確掌握企業的經營狀況，了解對象的需求，制定正確的方案。

體系架構

OLAP系統按照其存儲器的數據存儲格式可以分為關系OLAP（Relational OLAP，簡稱ROLAP）、多維OLAP（Multidimensional OLAP，簡稱MOLAP）和混合型OLAP（HybridOLAP，簡稱HOLAP）三種類型。

ROLAP

ROLAP將分析用的多維數據存儲在關系數據庫中并根據應用的需要有選擇的定義一批物理視圖存儲在關系數據庫中，不必將每一個SQL查詢都作為物理視圖保存，只定義那些應用頻率比較高、計算工作量比較大的查詢作為物理視圖。對每個針對OLAP服務器的查詢，優先利用已經計算好的物理視圖來生成查詢結果以提高查詢效率。同時用作ROLAP存儲器的RDBMS也針對OLAP作相應的優化，比如并行存儲、并行查詢、并行數據管理、基于成本的查詢優化、位圖索引、SQL的OLAP擴展(cube,rollup)等等。IBM Cognos BI里的通過多維邏輯模型DMR訪問關系數據庫進行多維分析就屬于ROLAP。

MOLAP

MOLAP將OLAP分析所用到的多維數據物理上存儲為多維數組的形式，形成“立方體”的結構。維的屬性值被映射成多維數組的下標值或下標的范圍，而總結數據作為多維數組的值存儲在數組的單元中。由于MOLAP采用了新的存儲結構，從物理層實現起，因此又稱為物理OLAP（Physical OLAP）；而ROLAP主要通過一些軟件工具或中間軟件實現，物理層仍采用關系數據庫的存儲結構，因此稱為虛擬OLAP（Virtual OLAP）。IBM Cognos BI里的通過物理的PowerCubes進行多維分析就屬于MOLAP。

HOLAP

正是由于MOLAP和ROLAP有著各自的優點和缺點（ROLAP數據量大，但是處理性能低；MOLAP處理性能高，但數據量不能太大）,且它們的結構迥然不同，這給分析人員設計OLAP結構提出了難題。為此一個新的OLAP結構——混合型OLAP（HOLAP）被提出，它能把MOLAP和ROLAP兩種結構的優點結合起來。很明顯，HOLAP結構不應該是MOLAP與ROLAP結構的簡單組合，而是這兩種結構技術優點的有機結合，能滿足用戶各種復雜的分析請求。例如：IBM Cognos BI就可以通過將高度匯總數據存在PowerCubes里，而明細數據使用DMR多維邏輯模型的方式，通過穿透鉆取方式無縫的進行多維分析就屬于HOLAP了。

現如今，隨著企業的數據量呈指數級增長，而硬件性能的不斷提升及內存價格的下降，一種新的基于內存的OLAP體系架構出現了。這種新架構既能夠保證類似于MOLAP方式的高性能，也能基于更大的數據量進行分析，還不用定期將數據庫里的數據刷新到OLAP服務器中來保證數據的實效性。它的諸多優勢受到了市場的追捧，這種新的體系架構當之無愧地成為多維分析環境搭建的流行選擇，而IBM Cognos BI的Dynamic Cubes就是它的代表作品。

動態立方體（Dynamic Cubes）介紹

為什么要使用動態立方體（Dynamic Cubes）

我們知道，隨著數據量的不斷增加，一些的數據倉庫原有多維分析技術架構已經逐漸不能滿足業務用戶的性能需求，特別是針對一些超大型的數據源，比如TB級的詳細數據。這些客戶通常只能通過使用匯總表、聚合表來提升訪問性能，但仍充滿挑戰。例如：在美國有一家制藥企業，分析所有的處方。某銀行對客戶、家庭及他們的關聯客戶進行交易模式分析，等等。他們用傳統的解決方案（MOLAP、ROLAP）都是有局限性的，因為他們不能同時兼顧到大數據量與高性能的訪問。

如上圖所示，在IBM Cognos BI對多維分析的傳統方式中，32位的PowerCubes需要對詳細數據進行大量的聚合，才能保證Cube的數據文件不至于太大；64位的TM1cubes能夠處理大數據量，但通常設計用于需要進行回寫的what-if應用場景，而非用于純的BI報表和分析；基于關系數據庫的OLAP需要可以處理任意數據量，但即使使用DQM（動態查詢模式），隨著數據量的增加，性能也會下降。在這種情況下，動態立方體（DynamicCubes）應運而生。

什么是動態立方體（DynamicCubes）

動態立方體是在傳統ROLAP的基礎上，增加了基于內存的OLAP模塊。它直接從關系型的數據倉庫里通過動態查詢模式取數，并提供一個多維度的視圖來進行性能的加速。動態立方體在Cognos的查詢堆棧里引入一個性能層，可以滿足用戶對大型數據倉庫進行低延遲、高性能的多維分析，它可以支持TB級的數據量。動態立方體是可擴展的，它也可以利用緩存、已優化的預聚合（in-memory或in-database）、優化SQL來達到高性能。它具有以下特點：

• 使用簡單的、多通道的SQL進行關系數據庫的查詢優化；
• 能夠最小程度的降低數據從關系數據庫到Cognos動態立方體引擎間的數據移動；
• 聚合感知，能夠鑒別需要通過in-memory還是通過in-database聚合表進行達到最優性能；
• 提供Aggregate Advisor工具，可以通過日志分析預聚合（in-memory或in-database）的效率來進行性能優化。

動態立方體（Dynamic Cubes）的工作原理

動態立方體基于上百萬條記錄或者更多的大數據量的事實表與有上百萬個成員的維表創建多維模型，可以達到低延遲的數據分析。如下圖所示，通過動態查詢模式（DQM），動態立方體將數據庫內數據加載到服務器內存作緩存，包括維度成員、事實表數據、表達式、結果集、聚合表，來提升多維分析的訪問性能。一旦緩存被加載，所有的用戶就能夠通過統一的安全認證看到他們能夠看到的數據。而聚合感知就是能夠保證數據查詢通過選擇最合適的聚合表來達到數據訪問高性能。

下圖展示了動態立方體在整合平臺上面的位置。

結束語

Cognos Analytics試用版下載地址

via：華南IBM大數據支持團隊

詳情請咨詢！

客服熱線：023-66090381