大數(shù)據(jù)是目前最熱門的話題，雖然不少廠商宣稱推出了大數(shù)據(jù)的產(chǎn)品，但在實(shí)際應(yīng)用中，Hadoop已經(jīng)成為大數(shù)據(jù)處理的事實(shí)標(biāo)準(zhǔn)，F(xiàn)acebook、百度、阿里等互聯(lián)網(wǎng)企業(yè)無一不采用Hadoop。即便是商業(yè)數(shù)據(jù)庫公司，如IBM、Oracle、SAP、Teradata、甚至Microsoft等都采用了Hadoop。國產(chǎn)數(shù)據(jù)庫廠商的人大金倉在大數(shù)據(jù)方解決案中也整合了Hadoop產(chǎn)品。

Hadoop之所以這么受歡迎，源于其良好的系統(tǒng)架構(gòu)，使其能夠以很低的成本、高效率、可靠的存儲(chǔ)和處理千兆字節(jié)（PB）數(shù)據(jù)。Hive是構(gòu)建在Hadoop的數(shù)據(jù)倉庫平臺(tái)，用于存儲(chǔ)和處理海量結(jié)構(gòu)化數(shù)據(jù)。它把海量數(shù)據(jù)存儲(chǔ)于Hadoop文件系統(tǒng)，而不是數(shù)據(jù)庫，但提供了一套類數(shù)據(jù)庫的數(shù)據(jù)存儲(chǔ)和處理機(jī)制，并采用 HQL （類 SQL ）語言對(duì)這些數(shù)據(jù)進(jìn)行自動(dòng)化管理和處理。我們可以把 Hive中海量結(jié)構(gòu)化數(shù)據(jù)看成一個(gè)個(gè)的表，而實(shí)際上這些數(shù)據(jù)是分布式存儲(chǔ)在 HDFS 中的。Hive 經(jīng)過對(duì)語句進(jìn)行解析和轉(zhuǎn)換，最終生成一系列基于Hadoop的map/reduce 任務(wù)，通過執(zhí)行這些任務(wù)完成數(shù)據(jù)處理。

傳統(tǒng)上商業(yè)智能BI平臺(tái)或報(bào)表平臺(tái)是基于關(guān)系數(shù)據(jù)庫搭建的，即便數(shù)據(jù)倉庫使用了Hadoop，也是將Hadoop作為計(jì)算工具，將計(jì)算結(jié)果寫入Oracle、DB2等數(shù)據(jù)庫中，供BI軟件查詢。事實(shí)上，隨著Hadoop/Hive產(chǎn)業(yè)鏈的成熟，BI工具可以通過JDBC等方式，直接連接Hive查詢數(shù)據(jù)。這樣，除了專業(yè)的IT工程師，眾多普通用戶也能體驗(yàn)到Hadoop的魅力。

Smartbi作為國內(nèi)領(lǐng)先的BI平臺(tái)，能夠很好的支持Hadoop/Hive產(chǎn)品。Smartbi結(jié)合Hadoop/Hive在電信行業(yè)中已經(jīng)取得了成功的應(yīng)用案例。

下面介紹如何使用Smartbi連接Hadoop/Hive查詢數(shù)據(jù)。

1.首先安裝好系統(tǒng)環(huán)境，示例為Ubuntu 12.04/JDK7/Hadoop-1.2.1/Hive-0.11.0，并裝載數(shù)據(jù)。然后啟動(dòng)Hive服務(wù)。

2.將下列Hive JDBC驅(qū)動(dòng)等文件拷貝到Smartbi的Lib目錄下（.\smartbi\WEB-INF\lib）。

3.啟動(dòng)Smartbi，在系統(tǒng)管理中建立Hadopp的JDBC連接，驅(qū)動(dòng)程序類為：org.apache.hadoop.hive.jdbc.HiveDriver，連接串為jdbc:hive://ip:port/default。測(cè)試連接通過后保存。

4.在Smartbi數(shù)據(jù)集定義功能中編寫Hive SQL語句。

5.點(diǎn)擊“預(yù)覽”按鈕，查看查詢結(jié)果。

6.在Smartbi中展現(xiàn)Hive的報(bào)表。

來源：中國大數(shù)據(jù)