為了解決什么問題?
本文介紹如何將mysql里的表數據導入至ElasticSearch(以下簡稱es),并用kibana查詢這些數據
準備
一臺裝有centos 7能夠正常聯網的服務器(內存至少8G)
安裝好JDK(版本大于等于8)
下載相同版本的ElasticSearch,kibana,logstash的rpm安裝包(官網都有這里就不多說了)
提供一個測試mysql數據庫(表里要有數據噢)
將下載好的rpm包全部傳到服務器/tmp/下
mysql驅動jar
安裝ElasticSearch(以下簡稱es)
- 關閉機器selinux
- 執行安裝命令
rpm -ivh elasticsearch-8.5.0-x86_64.rpm
- 查看elasticsearch.service安裝文件
#我們使用rpm安裝的serivce文件都在/usr/lib/systemd/system/下
vi /usr/lib/systemd/system/elasticsearch.service
- 查看es本體安裝目錄
#我們使用rpm安裝的安裝本體都在/usr/share/下
cd /usr/share/elasticsearch/
[root@node91 elasticsearch]# ls
bin jdk lib LICENSE.txt modules NOTICE.txt plugins README.asciidoc
- 調整查看配置文件
[root@node91 elasticsearch]# cd /etc/elasticsearch/
[root@node91 elasticsearch]# ls
certs elasticsearch-plugins.example.yml elasticsearch.yml.rpmsave jvm.options.d role_mapping.yml users
elasticsearch.keystore elasticsearch.yml jvm.options log4j2.properties roles.yml users_roles
- vi編輯elasticsearch.yml主配置文件
# 部分需要更改的配置
# es日志地址
path.logs: /var/log/elasticsearch解析
# 網絡監聽地址
network.host: 0.0.0.0
# 訪問端口
http.port: 9200
# 安全配置 xpack開頭的全部改成false
xpack.* = false
- 啟動es服務
# 所有采用rpm安裝的軟件都會交由systemctl去管理,下面趁機說下一些systemctl服務的基本操作
# 系統重載systemctl服務,凡是對serivice文件做了更改的必須執行下面的命令
systemctl daemon-reload
# 查看es服務狀態
systemctl status elasticsearch.service
# 運行es服務,并查看日志
systemctl start elasticsearch.service && journalctl -f -n 22 -u elasticsearch.service
# 關閉es服務
systemctl stop elasticsearch.service
# 將es服務注冊為開機自啟服務
systemctl enable elasticsearch.service
# 禁用es服務為開機自啟
systemctl disabled elasticsearch.service
# 重啟es服務,并查看日志
systemctl restart elasticsearch.service && journalctl -f -n 22 -u elasticsearch.service
- 測試es服務是否正常開啟
# 能看到 "You Know, for Search" 即說明正常
curl http://localhost:9200
{
"name" : "elk",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "hqp4Aad0T2Gcd4QyiHASmA",
"version" : {
"number" : "8.5.0",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "de777fa",
"build_date" : "2022-10-24T18:30:11.767338Z",
"build_snapshot" : false,
"lucene_version" : "9.4.1",
"minimum_wire_compatibility_version" : "7.17.0",
"minimum_index_compatibility_version" : "7.0.0"
},
"tagline" : "You Know, for Search"
}
安裝kibana
- 執行安裝命令
rpm -ivh kibana-8.5.0-x86_64.rpm
- 查看kibana.service安裝文件
#我們使用rpm安裝的serivce文件都在/usr/lib/systemd/system/下
vi /usr/lib/systemd/system/kibana.service
- 查看kibana本體安裝目錄
#我們使用rpm安裝的安裝本體都在/usr/share/下
cd /usr/share/kibana/
[root@node91 kibana]# ls
bin LICENSE.txt node node_modules NOTICE.txt package.json plugins README.txt src x-pack
- 調整查看配置文件
[root@node91 kibana]# cd /etc/kibana/
[root@node91 kibana]# ls
kibana.keystore kibana.yml node.options
- vi編輯kibana.yml主配置文件
# 部分需要更改的配置
# kibana端口
server.port: 5601
# 可訪問,0.0.0.0 表示可遠程鏈接
server.host: "0.0.0.0"
# 監聽es地址
elasticsearch.hosts: ["http://localhost:9200"]
# 訪問端口
http.port: 9200
# web頁面顯示改成中文
i18n.locale: "zh-CN"
- 啟動kibana服務(跟es的服務一個地址噢也是同樣的用法)
# 運行kibana服務,并查看日志
systemctl start kibana.service && journalctl -f -n 22 -u kibana.service
- 打開瀏覽器,瀏覽kibana web頁面
http://localhost:5601
安裝logstash
- 執行安裝命令
rpm -ivh logstash-8.5.0-x86_64.rpm
- 查看logstash.service安裝文件
#我們使用rpm安裝的serivce文件都在/usr/lib/systemd/system/下
vi /usr/lib/systemd/system/logstash.service
- 查看logstash本體安裝目錄
#我們使用rpm安裝的安裝本體都在/usr/share/下
cd /usr/share/logstash/
[root@node91 logstash]# ls
bin CONTRIBUTORS Gemfile jdk lib logstash-core modules tools x-pack
config data Gemfile.lock JDK_VERSION LICENSE.txt logstash-core-plugin-api NOTICE.TXT vendor
- 調整查看配置文件
[root@node91 logstash]# cd /etc/logstash/
[root@node91 logstash]# ls
conf.d jvm.options log4j2.properties logstash-sample.conf logstash.yml pipelines.yml startup.options
- vi編輯startup.options啟動參數配置文件
# 部分需要更改的配置
# logstash自身帶了jdk,需要把這里編輯下,否則啟動可能會報錯
JAVACMD=/usr/share/logstash/jdk
- 將mysql 驅動jar放至/usr/share/logstash/bin/下
- 我的路徑是/usr/share/logstash/bin/mysql-connector-java-8.0.19.jar
- 增加編輯數據傳輸配置
# 在/etc/logstash/文件夾下增加config文件夾,將放置鏈接mysql與es的配置文件
[root@node91 logstash]# cd /etc/logstash/
[root@node91 logstash]# mkdir config
[root@node91 logstash]# cd config
[root@node91 config]# cd config
[root@node91 config]# vi jdbc.conf
# jdbc.conf內容,如下
input {
jdbc {
# 數據庫連接字符串
jdbc_connection_string => "jdbc:mysql://192.168.3.187:3306/test?useUnicode=true&characterEncoding=UTF-8&useSSL=false&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT%2B8"
# 數據庫登錄名
jdbc_user => "root"
# 登錄密碼
jdbc_password => "rootdb"
# jdbc驅動程序包路徑
jdbc_driver_library => "/usr/share/logstash/bin/mysql-connector-java-8.0.19.jar"
# 驅動程序類名
jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
# 是否分頁
jdbc_paging_enabled => "true"
# 每頁幾條記錄
jdbc_page_size => "10000"
# 同步查詢語句，:sql_last_value變量為上次同步時間，程序會記錄下來，如果第一次同步則為1970-1-1
# mapping中日期類型字段我定義了格式，為了避免報錯，我就在SQL語句中格式化為字符類型
statement => "SELECT * FROM test WHERE createTime>= :sql_last_value"
# 同步頻率，cron表達式，不會的可以百度一下；這樣是每分鐘執行一次
schedule => "* * * * *"
# 時區，一定要配置，不然 :sql_last_value變量會少了8小時
jdbc_default_timezone => "Asia/Shanghai"
type => "jdbc"
}
}
filter {
}
output {
elasticsearch {
# ES索引名稱
index => "mysql-test01"
# ES文檔ID，配置表的主鍵字段
document_id => "%{id}"
hosts => ["localhost:9200"]
}
}
- 啟動logstash服務(跟es的服務一個地址噢也是同樣的用法)
# 運行logstash服務,并查看日志
systemctl start logstash.service && journalctl -f -n 22 -u logstash.service
- 將配置文件設置到啟動項
# 編輯 logstash.service
vi /usr/lib/systemd/system/logstash.service
# ExecStart項前 增加啟動配置
# 修改前
ExecStart=/usr/share/logstash/bin/logstash "--path.settings" "/etc/logstash"
# 修改后
ExecStart=/usr/share/logstash/bin/logstash -f /etc/logstash/config/jdbc.conf "--path.settings" "/etc/logstash"
- 打開瀏覽器,瀏覽kibana web頁面,操作數據
http://localhost:5601
附錄:
- 三套軟件下載地址
https://artifacts.elastic.co/downloads/elasticsearch
https://www.elastic.co/cn/downloads/kibana
https://www.elastic.co/cn/downloads/logstash
