hive中join原理與機(jī)制

籠統(tǒng)的說，Hive中的Join可分為Common Join（Reduce階段完成join）和Map Join（Map階段完成join）。本文簡單介紹一下兩種join的原理和機(jī)制。

Hive Common Join

如果不指定MapJoin或者不符合MapJoin的條件，那么Hive解析器會將Join操作轉(zhuǎn)換成Common Join,即：在Reduce階段完成join.
整個過程包含Map、Shuffle、Reduce階段。

• Map階段

  讀取源表的數(shù)據(jù)，Map輸出時候以Join on條件中的列為key，如果Join有多個關(guān)聯(lián)鍵，則以這些關(guān)聯(lián)鍵的組合作為key;
  Map輸出的value為join之后所關(guān)心的(select或者where中需要用到的)列；同時在value中還會包含表的Tag信息，用于標(biāo)明此value對應(yīng)哪個表；
  按照key進(jìn)行排序

• Shuffle階段

  根據(jù)key的值進(jìn)行hash,并將key/value按照hash值推送至不同的reduce中，這樣確保兩個表中相同的key位于同一個reduce中

• Reduce階段
  根據(jù)key的值完成join操作，期間通過Tag來識別不同表中的數(shù)據(jù)。

SELECT 
 a.id,a.dept,b.age 
FROM a join b 
ON (a.id = b.id);

看了這個圖，應(yīng)該知道如何使用MapReduce進(jìn)行join操作了吧。

Hive Map Join

MapJoin通常用于一個很小的表和一個大表進(jìn)行join的場景，具體小表有多小，由參數(shù)hive.mapjoin.smalltable.filesize來決定，該參數(shù)表示小表的總大小，默認(rèn)值為25000000字節(jié)，即25M。
Hive0.7之前，需要使用hint提示 /+ mapjoin(table) /才會執(zhí)行MapJoin,否則執(zhí)行Common Join，但在0.7版本之后，默認(rèn)自動會轉(zhuǎn)換Map Join，由參數(shù)hive.auto.convert.join**來控制，默認(rèn)為true.
仍然以9.1中的HQL來說吧，假設(shè)a表為一張大表，b為小表，并且hive.auto.convert.join=true,那么Hive在執(zhí)行時候會自動轉(zhuǎn)化為MapJoin。

• 如圖中的流程，首先是Task A，它是一個Local Task（在客戶端本地執(zhí)行的Task），負(fù)責(zé)掃描小表b的數(shù)據(jù)，將其轉(zhuǎn)換成一個HashTable的數(shù)據(jù)結(jié)構(gòu)，并寫入本地的文件中，之后將該文件加載到DistributeCache中，該HashTable的數(shù)據(jù)結(jié)構(gòu)可以抽象為：

• 接下來是Task B，該任務(wù)是一個沒有Reduce的MR，啟動MapTasks掃描大表a,在Map階段，根據(jù)a的每一條記錄去和DistributeCache中b表對應(yīng)的HashTable關(guān)聯(lián)，并直接輸出結(jié)果。
• 由于MapJoin沒有Reduce，所以由Map直接輸出結(jié)果文件，有多少個Map Task，就有多少個結(jié)果文件。

hive中join的類型和用法

Hive Join 只返回關(guān)聯(lián)上的記錄

Hive LEFT|RIGTH|FULL OUTER JOIN

Hive LEFT SEMI JOIN 只返回a中載b中能關(guān)聯(lián)到的記錄

Hive Cross Join 笛卡爾積 不需要制定關(guān)聯(lián)列