Elasticsearch JDBC 導入器
通過Java數據庫連接(JDBC)從JDBC源獲取數據導入到Elasticsearch中。
項目地址:
https://github.com/jprante/elasticsearch-jdbc
問題
使用 1.7.0_80 版本的JDK報錯:Unsupported major.minor version 52.0
換成 1.8.0_101 版本的JDK之后就可以了。
據說是JDK本身的一個問題。
操作過程
簡單的記錄操作過程,詳情見github。
- 下載
wget http://xbib.org/repository/org/xbib/elasticsearch/importer/elasticsearch-jdbc/2.3.4.0/elasticsearch-jdbc-2.3.4.0-dist.zip
- 解壓縮
unzip elasticsearch-jdbc-2.3.4.0-dist.zip
確定JDBC驅動jar
檢查lib目錄是否有你需要的jdbc驅動jar,如果沒有需要將相關jar放到該目錄中。編寫一個導入腳本
#!/bin/sh
DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
bin=${DIR}/../bin
lib=${DIR}/../lib
echo '{
"type" : "jdbc",
"jdbc" : {
"url" : "jdbc:mysql://192.168.1.212:3306/hxx",
"user" : "root",
"password" : "root",
"sql" : "SELECT *, id as _id FROM xxtable",
"index" : "test",
"type" : "rt1",
"metrics": {
"enabled" : true
},
"elasticsearch" : {
"cluster" : "wwh_es_cluster",
"host" : "192.168.1.213",
"port" : 9300
}
}
}' | java \
-cp "${lib}/*" \
-Dlog4j.configurationFile=${bin}/log4j2.xml \
org.xbib.tools.Runner \
org.xbib.tools.JDBCImporter
~
- 給腳本添加執行權限然后執行