官網截圖
1.UDF是什么？
有時候hive提供的函數功能滿足不了業務需要，就需要我們自己來寫UDF函數來輔助完成，下面用一個簡單的例子說明過程，以及注意事項。
UDF函數其實就是一個簡單的函數，執行過程就是在Hive轉換成mapreduce程序后，執行java方法，類似于像Mapreduce執行過程中加入一個插件，方便擴展. UDF只能實現一進一出的操作，如果需要實現多進一出，則需要實現UDAF .
Hive可以允許用戶編寫自己定義的函數UDF，來在查詢中使用
2.UDF類型
Hive中有3種UDF：
UDF：操作單個數據行，產生單個數據行；
UDAF：操作多個數據行，產生一個數據行。
UDTF：操作一個數據行，產生多個數據行一個表作為輸出。
3.如何構建UDF
用戶構建的UDF使用基本過程如下：
- 第一步：繼承UDF或者UDAF或者UDTF，實現特定的方法。
- 第二步：將寫好的類打包為jar。如CorrectResolution.jar。
- 第三步：進入到Hive客戶端，利用add jar /home/hadoop/CorrectResolution.jar注冊該jar文件
- 第四步：為該類起一個別名，create temporary function correct_resolution as 'correct_resolution.CorrectResolution';這里注意UDF只是為這個Hive會話臨時定義的。若要永久定義，參考如下代碼：
- 第五步：在select中使用correct_resolution();
4.UDF實戰記錄
4.1需求
日志上報的手機分辨率正常下是 大*小，例如 1280*768。但是上傳的日志中會存在顛倒的情況，如 768*1280，在日志清洗時需要修正為1280*768，保證所有分辨率格式為： 大*小。
4.2編寫CorrectResolution.java文件
package correct_resolution;
import org.apache.hadoop.hive.ql.exec.UDF;
public class CorrectResolution extends UDF {
public String evaluate(String resolution) {
try {
String[] arrReso = resolution.split("\\*");
int intReso0 = Integer.parseInt(arrReso[0]);
int intReso1 = Integer.parseInt(arrReso[1]);
return intReso0 < intReso1 ? arrReso[1]+"*"+arrReso[0] : resolution;
} catch (Exception e) {
return resolution;
}
}
}
4.3打包生成CorrectResolution.jar
Mac安裝inteliJ，java8, maven。在preference設置maven好路徑，選擇你的jdk版本。講maven/bin添加到path中。
編輯pom.xml文件，添加build配置如下。
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-jar-plugin</artifactId>
<configuration>
<archive>
<manifest>
<addClasspath>true</addClasspath>
<mainClass>com.xx.growth.CorrectResolution</mainClass> <!--這兒設置你的main class路徑-->
</manifest>
</archive>
</configuration>
</plugin>
</plugins>
</build>
- 用maven打包生成jar包
mvn compile
mvn package
//會在target下面生成jar
java -jar target/hello-1.0-SNAPSHOT.jar
4.4上傳jar到hdfs目錄中
將當前目錄下的.jar上傳到hdfs的/usr/xx/xxx/udf/目錄下。
hadoop fs -put ./CorrectResolution.jar /usr/xx/xxx/udf/
4.5在hive命令行中添加該函數
hive> create function growth.correct_resolution as 'correct_resolution.CorrectResolution' using JAR "hdfs://kingkong/usr/xx/xxx/udf/CorrectResolution.jar";
converting to local hdfs://kingkong/usr/xx/xxx/udf/CorrectResolution.jar
Added [/tmp/xx-xx-xx-xx-xx_resources/CorrectResolution.jar] to class path
Added resources: [hdfs://kingkong/usr/xx/xxx/udf/CorrectResolution.jar]
OK
Time taken: 0.058 seconds
hive> select growth.correct_resolution("768*1280"), 'xxx' as t;
OK
1280*768 xxx
那一串xx-xx-xx-xx其實是jar在hdfs中的location中。
hive> list jars;
/tmp/511023ea-xx-xx-xx-xx/CorrectResolution.jar
添加完成完成之后，可以用show function查看。
hive> show functions;
OK
!
!=
%
greatest
hash
hex
...
...
histogram_numeric
growth.correct_resolution
