ELK簡介
ELK是三個開源軟件的縮寫，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟件。
Elasticsearch：是個開源分布式搜索引擎，提供搜集、分析、存儲數據三大功能。它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。
Logstash：主要是用來日志的搜集、分析、過濾日志的工具，支持大量的數據獲取方式。一般工作方式為c/s架構，client端安裝在需要收集日志的主機上，server端負責將收到的各節點日志進行過濾、修改等操作在一并發往elasticsearch上去。
Kibana：也是一個開源和免費的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助匯總、分析和搜索重要數據日志。
環境
1、jdk8
2、elasticsearch-6.4.2.tar.gz 地址：https://www.elastic.co/downloads/elasticsearch
3、logstash-6.4.2.tar.gz 地址：https://www.elastic.co/downloads/logstash
4、kibana-6.4.2-linux-x86_64.tar.gz 地址：https://www.elastic.co/downloads/kibana
一、部署+配置ELK
安裝 jdk
linux 如何安裝 jdk1.8 可參照其他網友貢獻的文檔 https://blog.csdn.net/qq250782929/article/details/51603276
配置 jdk 環境變量
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile 配置環境變量升效
安裝 elasticsearch
elasticsearch 不能用root賬戶啟動，因此，需要增加一個賬戶es
useradd -m es
passwd es
es
root# tar -xvf elasticsearch-6.4.2.tar.gz
root# cp -rf elasticsearch-6.4.2 /home/es
root# chown -R es.es /home/es/elasticsearch-6.4.2
es$ nohup /home/es/elasticsearch-6.4.2/bin/elasticsearch &
啟動過程遇到下問題
`[1]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65536]
`[2]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
請參照網友提供的解決方案：
https://blog.csdn.net/feinifi/article/details/73633235?utm_source=itdadao&utm_medium=referral
`[3]: max number of threads [3895] for user [elk] is too low, increase to at least [4096]
修改/etc/security/limits.conf文件，添加或修改如下行：
* hard nproc 4096
* soft nproc 4096
重新啟動
es$ nohup /home/es/elasticsearch-6.4.2/bin/elasticsearch &
更多elasticsearch配置
https://www.elastic.co/guide/en/elasticsearch/reference/current/logging.html
安裝 logstash
useradd -m elk
passwd elk
elk
root# tar -zxvf logstash-6.1.0.tar.gz
root# cp -rf logstash-6.1.0/home/elk
root# chown -R elk.elk /home/elk/logstash-6.1.0
elk$ touch /home/elk/logstash-6.1.0/config/logstash-simple.conf
elk$ ./bin/logstash -f ./config/logstash-simple.conf
在config 下配置一個simple.conf配置文件
input {
tcp {
mode => "server"
host => "本機ip"
port => 9250
}
stdin {}
}
filter {
}
output {
elasticsearch {
action => "index"
hosts => "ip:9200"
index => "logstash-demo"
}
stdout {
codec => rubydebug
}
}
安裝 kinbana
使用命令解壓（根據自己的文件名稱進行解壓）：
tar -zxvf kibana-6.4.2-linux-x86_64.tar.gz
修改配置文件:
cd /kibana/kibana-6.4.2-linux-x86_64/config/kibana.yml
【修改標注的這三個參數即可】
server.port: 5601 端口
server.host: （linux對應的ip地址）
elasticsearch.url: "http://xxx.xxx.xxx.xxx:9200"（根據es配置地址和端口進行配置）
啟動：返回解壓后
cd /kibana/kibana-6.4.2-linux-x86_64/bin
執行：
./kibana //不能關閉終端
nohup ./kibana > /nohub.out & //可關閉終端，在nohup.out中查看log
備注：如果不能正常訪問則使用firewall開放linux端口
1、執行如下命令命令：firewall-cmd --zone=public --add-port=5601/tcp --permanent
2、重啟防火墻，運行命令：firewall-cmd --reload
3、查看端口號是否開啟，運行命令：firewall-cmd --query-port=5601/tcp
如何在Logback.xml中集成logstash
1、在pom文件中引入jar包
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.0.5.RELEASE</version>
<relativePath/>
</parent>
<dependency>
<groupId>net.logstash.logback</groupId>
<artifactId>logstash-logback-encoder</artifactId>
<version>5.2</version>
</dependency>
2、在logback-spring.xml中配置
<configuration>
<!-- 使用下方日志輸出格式必須引入默認的xml -->
<include resource="org/springframework/boot/logging/logback/defaults.xml"/>
<springProperty scope="context" name="springAppName" source="spring.application.name"/>
<!-- 控制臺的日志輸出樣式 -->
<property name="CONSOLE_LOG_PATTERN"
value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr(${LOG_LEVEL_PATTERN:-%5p})
%clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan}
%clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}" />
<!-- 控制臺輸出 -->
<appender name="console" class="ch.qos.logback.core.ConsoleAppender">
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>INFO</level>
</filter>
<!-- 日志輸出編碼 -->
<encoder>
<pattern>${CONSOLE_LOG_PATTERN}</pattern>
</encoder>
</appender>
<appender name="STDERR" class="ch.qos.logback.core.ConsoleAppender">
<target>System.err</target>
<encoder>
<pattern>${CONSOLE_LOG_PATTERN}</pattern>
</encoder>
</appender>
<!-- This is the kafkaAppender -->
<appender name="kafkaAppender" class="com.github.danielwegener.logback.kafka.KafkaAppender">
<filter class="ch.qos.logback.classic.filter.ThresholdFilter">
<level>INFO</level>
</filter>
<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
<pattern>
{
"severity": "%level",
"service": "${springAppName:-}",
"trace": "%X{X-B3-TraceId:-}",
"span": "%X{X-B3-SpanId:-}",
"exportable": "%X{X-Span-Export:-}",
"pid": "${PID:-}",
"thread": "%thread",
"class": "%logger{40}",
"message": "%message"
}
</pattern>
</encoder>
<topic>topic-logback</topic>
<keyingStrategy class="com.github.danielwegener.logback.kafka.keying.NoKeyKeyingStrategy" />
<deliveryStrategy class="com.github.danielwegener.logback.kafka.delivery.AsynchronousDeliveryStrategy" />
<!-- Optional parameter to use a fixed partition -->
<!-- <partition>0</partition> -->
<!-- Optional parameter to include log timestamps into the kafka message -->
<!-- <appendTimestamp>true</appendTimestamp> -->
<!-- bootstrap.servers is the only mandatory producerConfig -->
<producerConfig>bootstrap.servers=ip:9092</producerConfig>
<!-- this is the fallback appender if kafka is not available. -->
<appender-ref ref="STDERR" />
</appender>
<root level="INFO">
<appender-ref ref="console"/>
<appender-ref ref="kafkaAppender"/>
</root>
</configuration>
注意：配置文件中的<topic></topic>必須在logstash配置文件topic或topic-pattern能夠匹配到才會從kafka讀取到消息
配置完成后啟動
1、啟動elk：elasticsearch -> logstash -> kibana 必須根據啟動順序進行啟動
2、測試發送日志
推薦閱讀：
Spring Security系列教程
