ELK日志系統部署

一、ELK安裝配置

(一)環境

系統:centos 6.5

JDK:1.8.0_181

Elasticsearch-6.4.2

Logstash-6.4.2

kibana-6.4.2

(二)安裝JDK

1.下載JDK:

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

本環境下載的是64位tar.gz包,將安裝包拷貝至安裝服務器/home/目錄

[root@localhost~]# cd /home/

[root@localhostlocal]# tar -xzvf jdk-8u181-linux-x64.tar.gz

2.配置環境變量

[root@localhostlocal]# vim /etc/profile

將下面的內容添加至文件末尾

JAVA_HOME=/home/jdk1.8.0_181

JRE_HOME=/home/jdk1.8.0_181/jre

CLASSPATH=.:$JAVA_HOME/lib:/dt.jar:$JAVA_HOME/lib/tools.jar

PATH=$PATH:$JAVA_HOME/bin

export?JAVA_HOME

export?JRE_HOME

ulimit -u 4096

[root@localhostlocal]# source /etc/profile

3.配置limit相關參數

修改limits.conf

vi /etc/security/limits.conf

添加以下內容

* soft nproc 65536

* hard nproc 65536

* soft nofile 65536

* hard nofile 65536

修改90-nproc.conf配置文件。

vi /etc/security/limits.d/90-nproc.conf

#修改如下內容:

* soft nproc 1024

#修改為

* soft nproc 4096

修改配置sysctl.conf

vi /etc/sysctl.conf

#添加下面配置:

vm.max_map_count=655360

#并執行命令:

sysctl -p

4.創建運行ELK的用戶

[root@localhost local]# groupadd elk

[root@localhost local]# useradd -g elk elk

[root@localhost local]# passwd elk??? --修改elk用戶密碼

創建ELK運行目錄

[root@localhost local]# mkdir /home/elk

[root@localhost local]# chown -R elk:elk /home/elk

以上全部是root用戶完成

(三)安裝Elasticsearch

以下由elk用戶操作

以elk用戶登錄服務器

下載ELK安裝包:https://www.elastic.co/downloads,并上傳到服務器且解壓,解壓命令:tar-xzvf包名

配置Elasticsearch

vi conf/elasticsearch.yml

修改如下內容:

cluster.name:mycluster

node.name:node-1

#指定了該節點可能成為 master 節點,還可以是數據節點

node.master: true

node.data: true

network.host: 192.168.31.86

http.port: 9200

transport.tcp.port: 9300

discovery.zen.ping.unicast.hosts:

["172.18.96.32",

"172.18.96.33","172.18.96.35","172.18.96.36"]

#修改bootstrap.system_call_filter為false,注意要在Memory下面:

bootstrap.memory_lock: false

bootstrap.system_call_filter: false


修改jvm.options文件中如下內容,設置最大最小使用內存數量

-Xms1g

-Xmx1g


防火墻配置中新增端口

su root

vi /etc/sysconfig/iptables

-A INPUT -m state --state NEW -m tcp -p tcp

--dport 9200 -j ACCEPT

-A INPUT -m state --state NEW -m tcp -p tcp

--dport 9300 -j ACCEPT

service iptables restart


保存退出

啟動Elasticsearch

./elasticsearch -d &? --后臺啟動

查看是否啟動成功

用瀏覽器訪問:http://192.168.10.169:9200

Elasticsearch安裝完畢

(四)安裝logstash

logstash是ELK中負責收集和過濾日志的

編寫配置文件如下:

解釋:

logstash的配置文件須包含三個內容:

input{}:此模塊是負責收集日志,可以從文件讀取、從redis讀取或者開啟端口讓產生日志的業務系統直接寫入到logstash

filter{}:此模塊是負責過濾收集到的日志,并根據過濾后對日志定義顯示字段

output{}:此模塊是負責將過濾后的日志輸出到elasticsearch或者文件、redis等

本環境采用從文件讀取日志,業務系統產生日志的格式如下:

[2016-11-05 00:00:03,731? INFO] [http-nio-8094-exec-10][filter.LogRequestFilter] - /merchant/get-supply-detail.shtml, IP:121.35.185.117, [device-dpi = 414*736, version = 3.6, device-os = iOS8.4.1,timestamp = 1478275204, bundle = APYQ9WATKK98V2EC, device-network = WiFi, token= 393E38694471483CB3686EC77BABB496, device-model = iPhone, device-cpu = ,sequence = 1478275204980, device-uuid = C52FF568-A447-4AFE-8AE8-4C9A54CED10C,sign = 0966a15c090fa6725d8e3a14e9ef98dc, request = {

? "supply-id" : 192

}]

[2016-11-05 00:00:03,731 DEBUG] [http-nio-8094-exec-10][filter.ValidateRequestFilter] - Unsigned:bundle=APYQ9WATKK98V2EC&device-cpu=&device-dpi=414*736&device-model=iPhone&device-network=WiFi&device-os=iOS8.4.1&device-uuid=C52FF568-A447-4AFE-8AE8-4C9A54CED10C&request={

??"supply-id" : 192

output直接輸出到Elasticsearch

本環境需處理兩套業務系統的日志

type:代表類型,其實就是將這個類型推送到Elasticsearch,方便后面的kibana進行分類搜索,一般直接命名業務系統的項目名

path:讀取文件的路徑

這個是代表日志報錯時,將報錯的換行歸屬于上一條message內容

start_position => "beginning"是代表從文件頭部開始讀取

filter{}中的grok是采用正則表達式來過濾日志,其中%{TIMESTAMP_ISO8601}代表一個內置獲取2016-11-05

00:00:03,731時間的正則表達式的函數,%{TIMESTAMP_ISO8601:date1}代表將獲取的值賦給date1,在kibana中可以體現出來

本環境有兩條grok是代表,第一條不符合將執行第二條

其中index是定義將過濾后的日志推送到Elasticsearch后存儲的名字

%{type}是調用input中的type變量(函數)

啟動logstash

./logstash-f?/elk/config/logstash.conf >/data/logstash.log &

代表啟動成功

(五)安裝kibana

保存退出

啟動kibana

./kibana > kibana.log & - 后臺啟動

其中api-app-*和api-cxb-*從來的,*代表所有

代表實時收集的日志條數

紅色框內的就是在剛才filter過濾規則中定義的

?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容