利用ELK搭建Docker容器化應用日志中心

封面圖片

概述

應用一旦容器化以后,需要考慮的就是如何采集位于Docker容器中的應用程序的打印日志供運維分析。典型的比如 SpringBoot應用的日志 收集。本文即將闡述如何利用ELK日志中心來收集容器化應用程序所產(chǎn)生的日志,并且可以用可視化的方式對日志進行查詢與分析,其架構(gòu)如下圖所示:

架構(gòu)圖

注: 本文原載于 My Personal Blog:CodeSheep · 程序羊


鏡像準備

鏡像準備
  • ElasticSearch鏡像
  • Logstash鏡像
  • Kibana鏡像
  • Nginx鏡像(作為容器化應用來生產(chǎn)日志)

開啟Linux系統(tǒng)Rsyslog服務

修改Rsyslog服務配置文件:

vim /etc/rsyslog.conf

開啟下面三個參數(shù):

$ModLoad imtcp
$InputTCPServerRun 514

*.* @@localhost:4560
開啟3個參數(shù)

意圖很簡單:讓Rsyslog加載imtcp模塊并監(jiān)聽514端口,然后將Rsyslog中收集的數(shù)據(jù)轉(zhuǎn)發(fā)到本地4560端口!

然后重啟Rsyslog服務:

systemctl restart rsyslog

查看rsyslog啟動狀態(tài):

netstat -tnl
netstat -tnl

部署ElasticSearch服務

docker run -d  -p 9200:9200 \
 -v ~/elasticsearch/data:/usr/share/elasticsearch/data \
 --name elasticsearch elasticsearch
ES啟動成功效果

部署Logstash服務

添加 ~/logstash/logstash.conf 配置文件如下:

input {
  syslog {
    type => "rsyslog"
    port => 4560
  }
}

output {
  elasticsearch {
    hosts => [ "elasticsearch:9200" ]
  }
}

配置中我們讓Logstash從本地的Rsyslog服務中取出應用日志數(shù)據(jù),然后轉(zhuǎn)發(fā)到ElasticSearch數(shù)據(jù)庫中!

配置完成以后,可以通過如下命令來啟動Logstash容器:

docker run -d -p 4560:4560 \
-v ~/logstash/logstash.conf:/etc/logstash.conf \
--link elasticsearch:elasticsearch \
--name logstash logstash \
logstash -f /etc/logstash.conf
image.png

部署Kibana服務

docker run -d -p 5601:5601 \
--link elasticsearch:elasticsearch \
-e ELASTICSEARCH_URL=http://elasticsearch:9200 \
--name kibana kibana
image.png

啟動nginx容器來生產(chǎn)日志

docker run -d -p 90:80 --log-driver syslog --log-opt \
syslog-address=tcp://localhost:514 \
--log-opt tag="nginx" --name nginx nginx

很明顯Docker容器中的Nginx應用日志轉(zhuǎn)發(fā)到本地syslog服務中,然后由syslog服務將數(shù)據(jù)轉(zhuǎn)給Logstash進行收集。

至此,日志中心搭建完畢,目前一共四個容器在工作:

image.png

實驗驗證

  • 瀏覽器打開localhost:90來打開Nginx界面,并刷新幾次,讓后臺產(chǎn)生GET請求的日志

  • 打開Kibana可視化界面:localhost:5601

localhost:5601
  • 收集Nginx應用日志
收集Nginx應用日志
  • 查詢應用日志

在查詢框中輸入program=nginx可查詢出特定日志

查詢應用日志

后記

由于能力有限,若有錯誤或者不當之處,還請大家批評指正,一起學習交流!



最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內(nèi)容