概述
應用一旦容器化以后,需要考慮的就是如何采集位于Docker容器中的應用程序的打印日志供運維分析。典型的比如 SpringBoot應用的日志 收集。本文即將闡述如何利用ELK日志中心來收集容器化應用程序所產(chǎn)生的日志,并且可以用可視化的方式對日志進行查詢與分析,其架構(gòu)如下圖所示:
注: 本文原載于 My Personal Blog:, CodeSheep · 程序羊 !
鏡像準備
- ElasticSearch鏡像
- Logstash鏡像
- Kibana鏡像
- Nginx鏡像(作為容器化應用來生產(chǎn)日志)
開啟Linux系統(tǒng)Rsyslog服務
修改Rsyslog服務配置文件:
vim /etc/rsyslog.conf
開啟下面三個參數(shù):
$ModLoad imtcp
$InputTCPServerRun 514
*.* @@localhost:4560
意圖很簡單:讓Rsyslog加載imtcp模塊并監(jiān)聽514端口,然后將Rsyslog中收集的數(shù)據(jù)轉(zhuǎn)發(fā)到本地4560端口!
然后重啟Rsyslog服務:
systemctl restart rsyslog
查看rsyslog啟動狀態(tài):
netstat -tnl
部署ElasticSearch服務
docker run -d -p 9200:9200 \
-v ~/elasticsearch/data:/usr/share/elasticsearch/data \
--name elasticsearch elasticsearch
部署Logstash服務
添加 ~/logstash/logstash.conf
配置文件如下:
input {
syslog {
type => "rsyslog"
port => 4560
}
}
output {
elasticsearch {
hosts => [ "elasticsearch:9200" ]
}
}
配置中我們讓Logstash從本地的Rsyslog服務中取出應用日志數(shù)據(jù),然后轉(zhuǎn)發(fā)到ElasticSearch數(shù)據(jù)庫中!
配置完成以后,可以通過如下命令來啟動Logstash容器:
docker run -d -p 4560:4560 \
-v ~/logstash/logstash.conf:/etc/logstash.conf \
--link elasticsearch:elasticsearch \
--name logstash logstash \
logstash -f /etc/logstash.conf
部署Kibana服務
docker run -d -p 5601:5601 \
--link elasticsearch:elasticsearch \
-e ELASTICSEARCH_URL=http://elasticsearch:9200 \
--name kibana kibana
啟動nginx容器來生產(chǎn)日志
docker run -d -p 90:80 --log-driver syslog --log-opt \
syslog-address=tcp://localhost:514 \
--log-opt tag="nginx" --name nginx nginx
很明顯Docker容器中的Nginx應用日志轉(zhuǎn)發(fā)到本地syslog服務中,然后由syslog服務將數(shù)據(jù)轉(zhuǎn)給Logstash進行收集。
至此,日志中心搭建完畢,目前一共四個容器在工作:
實驗驗證
瀏覽器打開
localhost:90
來打開Nginx界面,并刷新幾次,讓后臺產(chǎn)生GET請求的日志打開Kibana可視化界面:
localhost:5601
- 收集Nginx應用日志
- 查詢應用日志
在查詢框中輸入program=nginx
可查詢出特定日志
后記
由于能力有限,若有錯誤或者不當之處,還請大家批評指正,一起學習交流!