注:本文copy自http://blog.csdn.net/lzm1340458776/article/details/43313919,純屬當筆記使用。
Hive在查詢數據時,有些聚類函數框架并沒有提供實現,需要用戶自定義實現,這稱為UDAF(User-Defined Aggregation Function)。UDAF是針對多條記錄的,通俗的講就是多進一出。下面是實現UDAF的步驟:
1:函數類需要繼承UDAF類,并且該函數類中必須提供一個實現了UDAFEvaluator接口的內部類。
2.內部類需要實現init()、iterate()、terminatePartial()、merge()、terminate()這幾個函數。
2.1:init()函數實現接口UDAFEvaluator中的init()函數,主要是負責初始化計算函數并且重設其內部狀態,一般就是重設其內部字段。一般在靜態類中定義一個內部字段存放最終結果。
2.2:iterate()函數接收傳入的參數,并進行內部輪轉。其返回類型為boolean,每一次對一個新值進行聚集計算時候都會調用該方法,計算函數會根據聚集計算結果更新內部狀態。當輸入值合法或者正確計算了,則返回true。
2.3:terminatePartial()無參數,其為iterate()函數輪轉結束后,返回輪轉數據,terminatePartial()類似于Hadoop的Combiner,Hive需要部分結果的時候會調用該方法,必須要返回一個封裝了聚集計算當前狀態的對象。
2.4:merge接收terminatePartial()的返回結果,進行數據merge()操作,其返回類型為boolean,Hive進行合并一個部分聚集和另一個部分聚集的時候會調用該方法。
2.5:terminate()返回最終的聚集函數結果,Hive最終聚集結果的時候會調用該方法。計算函數需要把狀態作為一個值返回給用戶。
注:部分聚集結果的數據類型和最終結果的數據類型可以不同。
示例:自定義一個求最大值的UDAF函數:
/**
* UDAF是輸入多個數據行,產生一個數據行
* 用戶自定義UDAF必須繼承UDFA,必須提供一個實現了UDAFEvaluator接口的內部類
* @author 廖*民
* time : 2015年1月30日下午9:43:38
* @version
*/
public class MaxiNumber extends UDAF{
public static class MaxiNumberIntUDAFEvaluator implements UDAFEvaluator{
//最終結果
private FloatWritable result;
//負責初始化計算函數并設置它的內部狀態,result是存放最終結果的
public void init() {
result=null;
}
//每次對一個新值進行聚集計算都會調用iterate方法
public boolean iterate(FloatWritable value)
{
if(value==null)
return false;
if(result==null)
result=new FloatWritable(value.get());
else
result.set(Math.max(result.get(), value.get()));
return true;
}
//Hive需要部分聚集結果的時候會調用該方法
//會返回一個封裝了聚集計算當前狀態的對象
public FloatWritable terminatePartial()
{
return result;
}
//合并兩個部分聚集值會調用這個方法
public boolean merge(FloatWritable other)
{
return iterate(other);
}
//Hive需要最終聚集結果時候會調用該方法
public FloatWritable terminate()
{
return result;
}
}
}
#打成jar包,上傳到服務器。
#添加到Hive環境
hive (hive)> add jar /usr/local/src/maxi.jar;
Added /usr/local/src/maxi.jar to class path
Added resource: /usr/local/src/maxi.jar
#創建臨時函數
hive (hive)> create temporary function maxNumber as 'com.lixue.udaf.MaxiNumber';
OK
Time taken: 0.018 seconds
#測試數據:求id的最大值
hive (hive)> select * from user;
OK
id name
1 lavimer
2 liaozhongmin
3 liaozemin
100 hello
200 hadoop
#使用自定義的UDAF
hive (hive)> select maxNumber(id) from user;
//MapReduce...
OK
_c0
200.0
Time taken: 5.364 seconds
#刪除UDAF
hive (hive)> drop temporary function maxNumber;
OK
Time taken: 0.03 seconds
hive (hive)>