Hive自定義UDAF

注:本文copy自http://blog.csdn.net/lzm1340458776/article/details/43313919,純屬當筆記使用。

Hive在查詢數據時,有些聚類函數框架并沒有提供實現,需要用戶自定義實現,這稱為UDAF(User-Defined Aggregation Function)。UDAF是針對多條記錄的,通俗的講就是多進一出。下面是實現UDAF的步驟:
1:函數類需要繼承UDAF類,并且該函數類中必須提供一個實現了UDAFEvaluator接口的內部類。
2.內部類需要實現init()、iterate()、terminatePartial()、merge()、terminate()這幾個函數。
2.1:init()函數實現接口UDAFEvaluator中的init()函數,主要是負責初始化計算函數并且重設其內部狀態,一般就是重設其內部字段。一般在靜態類中定義一個內部字段存放最終結果。
2.2:iterate()函數接收傳入的參數,并進行內部輪轉。其返回類型為boolean,每一次對一個新值進行聚集計算時候都會調用該方法,計算函數會根據聚集計算結果更新內部狀態。當輸入值合法或者正確計算了,則返回true。
2.3:terminatePartial()無參數,其為iterate()函數輪轉結束后,返回輪轉數據,terminatePartial()類似于Hadoop的Combiner,Hive需要部分結果的時候會調用該方法,必須要返回一個封裝了聚集計算當前狀態的對象。
2.4:merge接收terminatePartial()的返回結果,進行數據merge()操作,其返回類型為boolean,Hive進行合并一個部分聚集和另一個部分聚集的時候會調用該方法。
2.5:terminate()返回最終的聚集函數結果,Hive最終聚集結果的時候會調用該方法。計算函數需要把狀態作為一個值返回給用戶。

注:部分聚集結果的數據類型和最終結果的數據類型可以不同。

示例:自定義一個求最大值的UDAF函數:

/** 
 * UDAF是輸入多個數據行,產生一個數據行 
 * 用戶自定義UDAF必須繼承UDFA,必須提供一個實現了UDAFEvaluator接口的內部類 
 * @author 廖*民 
 * time : 2015年1月30日下午9:43:38 
 * @version 
 */  
public class MaxiNumber extends UDAF{   
    public static class MaxiNumberIntUDAFEvaluator implements UDAFEvaluator{   
        //最終結果   
        private FloatWritable result;   
        //負責初始化計算函數并設置它的內部狀態,result是存放最終結果的   
        public void init() {   
            result=null;   
        }   
        //每次對一個新值進行聚集計算都會調用iterate方法   
        public boolean iterate(FloatWritable value)   
        {   
            if(value==null)   
                return false;   
            if(result==null)   
              result=new FloatWritable(value.get());   
            else  
              result.set(Math.max(result.get(), value.get()));   
            return true;   
        }   
                                                                                                                                     
        //Hive需要部分聚集結果的時候會調用該方法   
        //會返回一個封裝了聚集計算當前狀態的對象   
        public FloatWritable terminatePartial()   
        {   
            return result;   
        }   
        //合并兩個部分聚集值會調用這個方法   
        public boolean merge(FloatWritable other)   
        {   
            return iterate(other);   
        }   
        //Hive需要最終聚集結果時候會調用該方法   
        public FloatWritable terminate()   
        {   
            return result;   
        }   
    }   
}  

#打成jar包,上傳到服務器。
#添加到Hive環境

hive (hive)> add jar /usr/local/src/maxi.jar;  
Added /usr/local/src/maxi.jar to class path  
Added resource: /usr/local/src/maxi.jar  

#創建臨時函數

hive (hive)> create temporary function maxNumber as 'com.lixue.udaf.MaxiNumber';  
OK  
Time taken: 0.018 seconds  

#測試數據:求id的最大值

hive (hive)> select * from user;  
OK  
id  name  
1   lavimer  
2   liaozhongmin  
3   liaozemin  
100 hello  
200 hadoop  

#使用自定義的UDAF

hive (hive)> select maxNumber(id) from user;  
//MapReduce...  
OK  
_c0  
200.0  
Time taken: 5.364 seconds  

#刪除UDAF

hive (hive)> drop temporary function maxNumber;  
OK  
Time taken: 0.03 seconds  
hive (hive)>  
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容