Hive功能

Hive是基于Hadoop構建的一套數據倉庫分析系統，它提供了豐富的SQL查詢方式來分析存儲在Hadoop分布式文件系統中的數據：可以將結構化的數據文件映射為一張數據庫表，并提供完整的SQL查詢功能；可以將SQL語句轉換為MapReduce任務運行，通過自己的SQL查詢分析需要的內容，這套SQL簡稱Hive SQL，使不熟悉mapreduce的用戶可以很方便地利用SQL語言查詢、匯總和分析數據。而mapreduce開發人員可以把自己寫的mapper和reducer作為插件來支持Hive做更復雜的數據分析。它與關系型數據庫的SQL略有不同，但支持了絕大多數的語句如DDL、DML以及常見的聚合函數、連接查詢、條件查詢。它還提供了一系列的1：具進行數據提取轉化加載，用來存儲、查詢和分析存儲在Hadoop中的大規模數據集，并支持UDF（User-Defined Function）、UDAF(User-Defnes AggregateFunction)和UDTF（User-Defined Table-Generating Function），也可以實現對map和reduce函數的定制，為數據操作提供了良好的伸縮性和可擴展性。

Hive不適合用于聯機（online）上事務處理，也不提供實時查詢功能。它最適合應用在基于大量不可變數據的批處理作業。Hive的特點包括：可伸縮（在Hadoop的集群上動態添加設備）、可擴展、容錯、輸入格式的松散耦合。

內部表

Hive的內部表與數據庫中的Table在概念上是類似。每一個Table在Hive中都有一個相應的目錄存儲數據。刪除表時，元數據與數據都會被刪除。

內部表示例：

創建數據文件：test_inner_table.txt

創建表：create table test_inner_table (key string)

加載數據：LOAD DATA LOCAL INPATH ‘filepath’ INTO TABLE test_inner_table

查看數據：select * from test_inner_table;  select count(*) from test_inner_table

刪除表：drop table test_inner_table

外部表

外部表指向已經在HDFS中存在的數據，可以創建Partition。外部表加載數據和創建表同時完成（CREATE EXTERNAL TABLE ……LOCATION），實際數據是存儲在LOCATION后面指定的 HDFS 路徑中，并不會移動到數據倉庫目錄中。當刪除一個External Table時，僅刪除該鏈接。

外部表示例：

創建數據文件：test_external_table.txt

創建表：create external table test_external_table (key string)

加載數據：LOAD DATA INPATH ‘filepath’ INTO TABLE test_inner_table

查看數據：select * from test_external_table;  ?select count(*) from test_external_table

刪除表：drop table test_external_table

分區

Partition對應于數據庫中的Partition列的密集索引。在Hive中，表中的一個Partition對應于表下的一個目錄，所有的Partition的數據都存儲在對應的目錄中。

分區表示例：

創建數據文件：test_partition_table.txt

創建表：create table test_partition_table (key string) partitioned by (dt string)

加載數據：LOAD DATA INPATH ‘filepath’ INTO TABLE test_partition_table partition (dt=‘2006’)

查看數據：select * from test_partition_table;  select count(*) from test_partition_table

刪除表：drop table test_partition_table

桶

Buckets是將表的指定列通過Hash算法進一步分解成不同的文件存儲。它對指定列計算hash，根據hash值切分數據，目的是為了并行，每一個Bucket對應一個文件。當需要并行執行Map任務時，桶是不錯的選擇。

桶的示例：

創建數據文件：test_bucket_table.txt

創建表：create table test_bucket_table (key string) clustered by (key) into 20 buckets

加載數據：LOAD DATA INPATH ‘filepath’ INTO TABLE test_bucket_table

查看數據：select * from test_bucket_table;  set hive.enforce.bucketing = true;

視圖

視圖與傳統數據庫的視圖類似。視圖是只讀的，它基于的基本表，如果改變，數據增加不會影響視圖的呈現；如果刪除，會出現問題。如果不指定視圖的列，會根據select語句后的生成。

示例：create view test_view as select * from test

傾斜表

對大數據系統來講，數據量大并不可怕，可怕的是數據傾斜。

數據傾斜，是并行處理的數據集中，某一部分的數據顯著多于其它部分，從而使得該部分的處理速度成為整個數據集的瓶頸。

在Spark中，同一個Stage的不同Partition可以并行處理，而具有依賴關系的不同Stage之間是串行處理的。換句話說，一個Stage所耗費的時間，主要由最慢的那個Task決定。由于同一個Stage內的所有Task執行相同的計算，在排除不同計算節點計算能力差異的前提下，不同Task之間耗時的差異主要由該Task所處理的數據量決定。

傾斜表是一種特殊類型的表，其中經常出現的值（重偏差）被分割成單獨的文件，其余的值將轉到其他文件。通過指定偏斜值，Hive會自動將它們分解為單獨的文件，并在查詢期間可以跳過（或包含）整個文件，從而提高性能。

創建表語法：create table <T> (schema) skewed by (keys) on (values) [STORED as DIRECTORIES];

具體例子： create table T (c1 string, c2 string) skewed by (c1) on ('x1')

存儲過程

存儲過程是在數據庫系統中為了完成特定功能的SQL 語句集，經過第一次編譯后再次調用不需要再次編譯，用戶通過指定存儲過程的名字并給出參數（如果該存儲過程帶有參數）來執行它。

CREATE PROCEDURE proc_test

BEGIN

Drop table order_base.O_ORDER_DETAIL;

create table order_base.O_ORDER_DETAIL (customernumber string, invoicenumber string, invoicedate string, ordernumber string, itemnumberid string, ordertypeen string, ordertypesc string, salesrepid string, warehouse string, lineamount string, linecostamount string, invoicequantity string, lineno string) clustered by (ordertypeen) into 2 buckets stored as orc  TBLPROPERTIES ('transactional'='true');

TRUNCATE TABLE order_base.O_ORDER_DETAIL;

INSERT INTO order_base.O_ORDER_DETAIL select * from ORDER_DETAIL;

update order_base.O_ORDER_DETAIL set itemnumberid=replace(itemnumberid,'*','');

END;

CALL proc_test

執行存儲過程

hplsql -f /home/hadoop/proc_test.sql

查詢結果

select * from order_base.O_ORDER_DETAIL where ordernumber=8800840;

客戶端接口

CLI：command line interface，命令行接口。

Thrift客戶端： Hive架構的許多客戶端接口是建立在thrift客戶端之上，包括JDBC和ODBC接口。

WEBGUI：Hive客戶端提供了一種通過網頁的方式訪問Hive所提供的服務。這個接口對應Hive的HWI組件（Hive Web Interface），生產環境可用Hue組件代替，下圖為Hue界面。

關于慧都數倉建模大師

跨行業數據挖掘流程

基于企業的業務目標，進行數據理解、數據準備、數據建模，最后進行評價和部署，真正實現數據驅動業務決策。更多詳情，請。