Hive是將符合SQL語法的字符串解析生成可以在Hadoop上執(zhí)行的MapReduce的工具。

使用Hive盡量按照分布式計(jì)算的一些特點(diǎn)來設(shè)計(jì)sql，和傳統(tǒng)關(guān)系型數(shù)據(jù)庫有區(qū)別，

所以需要去掉原有關(guān)系型數(shù)據(jù)庫下開發(fā)的一些固有思維。

?

基本原則：

1：盡量盡早地過濾數(shù)據(jù)，減少每個階段的數(shù)據(jù)量,對于分區(qū)表要加分區(qū)，同時只選擇需要使用到的字段

select ... from A

join B

on A.key = B.key

where A.userid>10

?????and B.userid<10

?????? ?and A.dt='20120417'

?????? ?and B.dt='20120417';

應(yīng)該改寫為：

select .... from (select .... from A

??????????????????where dt='201200417'

??????????????????????????? ??????? and userid>10

??????????????????????????? ? ) a

join ( select .... from B

???????where dt='201200417'

???????????????????? and userid < 10???

?????) b

on a.key = b.key;

2：盡量原子化操作，盡量避免一個SQL包含復(fù)雜邏輯

可以使用中間表來完成復(fù)雜的邏輯

drop table if exists tmp_table_1;

create table if not exists tmp_table_1 as

select ......;

?

drop table if exists tmp_table_2;

create table if not exists tmp_table_2 as

select ......;

?

drop table if exists result_table;

create table if not exists result_table as

select ......;

?

drop table if exists tmp_table_1;

drop table if exists tmp_table_2;

?

?

3：單個SQL所起的JOB個數(shù)盡量控制在5個以下

?

4：慎重使用mapjoin,一般行數(shù)小于2000行，大小小于1M(擴(kuò)容后可以適當(dāng)放大)的表才能使用,小表要注意放在join的左邊（目前TCL里面很多都小表放在join的右邊）。

否則會引起磁盤和內(nèi)存的大量消耗

?

5：寫SQL要先了解數(shù)據(jù)本身的特點(diǎn)，如果有join ,group操作的話，要注意是否會有數(shù)據(jù)傾斜

如果出現(xiàn)數(shù)據(jù)傾斜，應(yīng)當(dāng)做如下處理：

set hive.exec.reducers.max=200;

set mapred.reduce.tasks= 200;---增大Reduce個數(shù)

set hive.groupby.mapaggr.checkinterval=100000 ;--這個是group的鍵對應(yīng)的記錄條數(shù)超過這個值則會進(jìn)行分拆,值根據(jù)具體數(shù)據(jù)量設(shè)置

set hive.groupby.skewindata=true; --如果是group by過程出現(xiàn)傾斜 應(yīng)該設(shè)置為true

set hive.skewjoin.key=100000; --這個是join的鍵對應(yīng)的記錄條數(shù)超過這個值則會進(jìn)行分拆,值根據(jù)具體數(shù)據(jù)量設(shè)置

set hive.optimize.skewjoin=true;--如果是join 過程出現(xiàn)傾斜 應(yīng)該設(shè)置為true

?

6：如果union all的部分個數(shù)大于2，或者每個union部分?jǐn)?shù)據(jù)量大，應(yīng)該拆成多個insert into 語句，實(shí)際測試過程中，執(zhí)行時間能提升50%

insert overwite table tablename partition (dt= ....)

select ..... from (

???????????????????select ... from A

???????????????????union all

???????????????????select ... from B

?????????????????? union all

???????????????????select ... from C

??????????????????????????? ???) R

where ...;

?

可以改寫為：

insert into table tablename partition (dt= ....)

select .... from A

WHERE ...;

?

insert into table tablename partition (dt= ....)

select .... from B

WHERE ...;

?

insert into table tablename partition (dt= ....)

select .... from C

WHERE ...;

?

原文地址：http://hbase.iteye.com/blog/1488745

hive 優(yōu)化