1. 簡介

這里主要是為了在生產環境中能夠快速搭建對應的
filebeat-->kafka-->logstash-->elastic-search
部署
包括
1.安裝的組件版本(現在方式等)
2.對應的目錄規范
3.具體的配置方式和配置注意事項
4.啟動，關閉腳本
5.自檢方式

2. 安裝順序

1.安裝es 6.0.0
2.安裝kibana 6.0.0
3.安裝x-pack
保證以上調試成功后開始下面的安裝
4.安裝kafka( 1.1.0 版本，對應的是 kafka_2.11-1.1.0.tgz)
5.安裝logstash 6.0.0
6.安裝filebeat 6.2.4

3. 目錄規范

1.安裝目錄為 ${home}/software/${組件/服務 名}
2.所有服務運行時數據和日志目錄按照/data/${服務名}
3.所有腳本類文件按照 /data/${服務名}/shell 存放

4. 具體安裝

4.1 es安裝

cd search 
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.0.0.tar.gz
tar -xzvf elasticsearch-6.0.0.tar.gz

cd elasticsearch-6.0.0
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.0.0/elasticsearch-analysis-ik-6.0.0.zip
vim config/elasticsearch.yml:這一步是進行配置文件的配置，關于配置注意事項，需要參考es配置相關

注意多臺服務器都要進行安裝

bin/elasticsearch -d

瀏覽器監測是否成功啟動

4.2 kibana安裝

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-linux-x86_64.tar.gz
tar -xzvf kibana-6.0.0-linux-x86_64.tar.gz
cd kibana-6.0.0-linux-x86_64
vim config/kibana.yml:主要是進行kibana的一個設置工作

簡單配置

server.port: 15601
server.host: "10.9.18.29"
elasticsearch.url: "http://10.9.18.29:10200"
## 在es中將security關閉后，下面這兩項是可以注釋掉的，也就是訪問es不需要帶用戶和密碼了
#這個是安裝xpack后的security配置   elasticsearch.username: "kibana"
#這個是安裝了xpack后security需要的配置    elasticsearch.password: "&&@%uiCigS#+5T@v!8G!"

啟動

nohup bin/kibana &

驗證線程使用netstat -tupln|grep 15601的方式，因為kibana是用node寫的，用ps -ef|grep kibana 是無法過濾到結果的
瀏覽器直接訪問 http:10.9.18.29:15601 進行測試

4.3 x-pack安裝

4.3.1 es中安裝x-pack

關閉es中的security 的驗證

xpack.security.enabled: false

kill es
cd elasticsearch-6.0.0
bin/elasticsearch-plugin install x-pack
bin/elasticsearch -d  #重啟

4.3.2 kibana中安裝x-pack

cd kibana-6.0.0-linux-x86_64
bin/kibana-plugin install x-pack
netstat -tupln|grep 15601
kill ${pid}

nohup bin/kibana &

4.4 安裝kafka

4.4.1 zookeeper依賴安裝

線上zookeeper由運維統一管理，需要向運維王帥進行申請

4.4.2 安裝kafka

cd search
wget http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
tar -xzvf kafka_2.11-1.1.0.tgz
vim config/server.properties 進行配置文件的配置
nohup bin/kafka-server-start.sh config/server-0.properties &

查看當前的group命令有

bin/kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:19092 --list
bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:19092 --group ${group_name} --describe

4.5 安裝logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.tar.gz
tar -xzvf logstash-6.0.0.tar.gz
vim conf/logstash.conf 進行logstash的配置,具體請參考logstash的配置
nohup bin/logstash -f conf/logstash.conf &

4.6 安裝filebeat

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.2.4-linux-x86_64.tar.gz
tar -xzvf filebeat-6.2.4-linux-x86_64.tar.gz
cd filebeat-6.2.4-linux-x86_64
vim filbeat.yml #參考 filebeat的配置相關部分
nohup ./filebeat >/dev/null 2>&1 &