由于線上業(yè)務(wù)越來(lái)越多，各種各樣的日志記錄在業(yè)務(wù)服務(wù)器上。每次線上出問題都需要登錄到對(duì)應(yīng)的業(yè)務(wù)服務(wù)器上來(lái)排查，不僅僅浪費(fèi)運(yùn)維的時(shí)間，增加工作量，而且查到的日志很多還需要再交付至研發(fā)同事來(lái)分析報(bào)錯(cuò)原因。
打算使用ELK(集中日志分析系統(tǒng))來(lái)減輕日常的日志報(bào)錯(cuò)定位操作，本文記錄了在內(nèi)網(wǎng)測(cè)試環(huán)境中的ELK整套集群系統(tǒng)部署，以及其中碰到的各種坑還有填坑辦法
Task List
- [x] 安裝配置ElasticSearch
- [x] 安裝配置Zookeeper和Kafka集群
- [x] 安裝配置LogStash
- [x] kafka配置詳解
- [ ] 安裝配置filebeat
- [ ] Kafka密碼認(rèn)證
- [ ] filebeat和LogStash的SSL認(rèn)證傳輸數(shù)據(jù)
環(huán)境說明
操作系統(tǒng)版本：CentOS6.9 64位
ES版本：5.5.2
filebeat版本：5.5.2
kafka版本：2.12-0.10.2.1
kibana版本：5.5.2
logstash版本：5.5.2
node版本：6.11.2 # 8.4版本會(huì)導(dǎo)致安裝插件失敗
zookeeper版本：3.4.9
JDK版本：1.8.0_144 #JDK版本需在1.8.0以上，openjdk也可以
- 10.8.189.101 # ES/logstash/kafka
- 10.8.189.102 # ES/logstash/kafka/kinbana
- 10.8.189.103 # ES/logstash/kibana/nginx
配置Java環(huán)境變量
# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
# source /etc/profile
資源包下載
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.2.tar.gz
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.2.tar.gz
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.2-linux-x86_64.tar.gz
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.5.2-linux-x86_64.tar.gz
wget https://nodejs.org/dist/v6.11.2/node-v6.11.2-linux-x64.tar.xz
wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz
wget http://mirror.bit.edu.cn/apache/kafka/0.10.2.1/kafka_2.12-0.10.2.1.tgz
