//
Kettle學習小結 - 簡書
http://www.lxweimin.com/p/43779258c1ce
Kettle學習小結學習資料官方文檔： http://infocenter.pentaho.com開發幫助文檔：http://wiki.pentaho.com/Bug報告地址： http://jira.pentaho.com/browse/PDI官方論壇： http://forums.pentaho.org/forumdisplay.php?f=135中文論壇： http://www.pentahochina.com一、部署系統的java環境
安裝JDK，版本要在1.6及以上在oracle官網上下載JDK，并安裝（目前上42服務器上已安裝，所以如下查看）
查看服務器上安裝的JDK的版本信息echo $JAVA_HOME
添加JDK的環境變量（目前上42服務器上已安裝，所以如下查看）
1）查看服務器上安裝的JDK的版本信息echo $JAVA_HOME2）查看系統環境變量中JAVA_HOMEvim /etc/profile二、Kettle的安裝部署（Linux環境下）1、在Pentaho的官網下載Kettle（下載Kettle的鏈接）（目前下載的最新的pdi-ce-6.1.0.1-196版）http://community.pentaho.com/projects/data-integration/http://nchc.dl.sourceforge.net/project/pentaho/Data%20Integration/6.1/pdi-ce-6.1.0.1-196.zip2、上傳到路徑：/opt/kettle文件夾中：并解壓縮該文件unzip pdi-ce-6.1.0.1-196.zip3、執行kitchen.sh命令cd /opt/kettle/data-integration執行：kitchen.sh命令，如下圖示，說明Kettle部署完成。四、資料庫的創建1、新建資料庫新建：Kettle Database Repository資料庫創建Kettle資料庫的數據庫鏈接，如下：（目前是將Kettle的資料庫放在MySql中）配置MySql JDBC連接：（kettle_rep是MySql中事先創建好的數據庫（用來存放kettle的資料庫信息））（Kettle連接MySql數據庫時，必須將：MySql的jdbc驅動事先放在，kettle的lib目錄/opt/kettle/data-integration/lib中，否則會報錯，如下：）2、創建資料庫中的各種表，如下：自動創建：如下示：已經創建了46張Kettle資料庫的數據表：輸入：rep資料庫的用戶名：admin（默認），密碼：admin3、可修改：資料庫用戶的密碼：五、Spoon組件開發實例
Kettle連接Hive數據庫
Kettle自帶的hive jdbc驅動包：Hive中jar包存放的位置：/opt/kettle/data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations/hdp23/lib如下：配置對應的hive數據庫連接后，一直報錯，如下示：原因：Kettle連接hive時一直報錯，最終找到原因是：hadoop認證拒絕hive連接（即：hadoop不允許用戶冒充hive角色進行連接訪問），報錯如下：User: hadoop is not allowed to impersonate hive.解決方案：最終修復如下：在hadoop的安裝目錄下：cd /opt/hadoop/hadoop-2.7.2/etc/hadoop，找到core-site.xml （Hadoop核心配置項文件），添加如下配置：這幾個配置項的值都可以使用來表示允許所有的主機/用戶組/用戶
<property><name>hadoop.proxyuser.hadoop.hosts</name><value></value></property><property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value></property>最終，kettle連接hive成功，如下示：2、資料庫中各項配置在如下路徑下，找到文件：repositories.xml/opt/kettle/data-integration/.kettlevim repositories.xml打開，可以看到資料庫的各種設置：如下：和編輯資料庫連接中的信息，一一對應；3、轉換中執行日志的設置1）任意打開一個轉換，右擊：找到屬性：Properties：如下示：2）找到轉換中：Logging位置：創建數據庫連接：目前使用MySql數據庫連接（即：將轉換執行的日志信息，放在MySql數據庫中，kettle_log是已事前創建好的數據庫，trans_log表是自動創建好的，用來存放轉換的執行日志信息。3）除了Transformation的日志外，也可以設置：Step，Performance，Logging channels，Metrics的日志，不過，目前暫時沒有設置，因為只需要記錄一些最關鍵的執行日志即可，否則如果添加的日志過多的話，會影響轉換的運行速度。4）在kettle_log.trans_log表中可以查看到對應的執行記錄：select *from kettle_log.trans_log torder by t.logdate desc;select *from kettle_log.trans_log twhere t.errors=1;--如果轉換執行錯誤的話，kettle_log.trans_log中字段errors為1。
JOB的創建及定時
1）創建簡單JOB，如下示：使用start組件和轉換組件。2）start組件中定時：雙擊start組件，如下設置定時任務：3）運行JOB即可六、Kitchen命令執行cd /opt/kettle/data-integration
kitchen -version
kitchen –listrep
3、kitchen -rep=KettleRep -user=admin -pass=admin -level=Basic -job=job_test（用spoon組件創建好并定時的JOB，用kitchen命令執行：kitchen -rep=KettleRep -user=admin -pass=admin -level=Basic -job=job_test如果JOB有定時后，執行該命令后，可一直按照指定的時間間隔來執行。）七、開發中的坑（持續補充中）
- hive中添加jar，解析日志，但是kettle連接hive數據源報錯
問題描述：hadoop hdfs上是原來info日志的不規則的數據，hive中添加jar（/opt/hive/apache-hive-2.1.0-bin/lib/LogInputFormat.jar）來解析日志表數據，在hive命令行中，可正常執行；kettle連接hive時，可正常連接hive，但是解析對應的表時，一直報錯。最終解決方案：在創建hive的數據庫連接的時候，在高級中，添加：對應的解析程序的jar包。如下示：在高級中添加jar：add /opt/hive/apache-hive-2.1.0-bin/lib/LogInputFormat.jar已經可以成功加載：對應hive連接下的數據庫表字段。
