本篇文章主要是手把手教你搭建 ELK 實(shí)時(shí)日志分析平臺，那么，ELK 到底是什么呢？
ELK 是三個(gè)開源項(xiàng)目的首字母縮寫，這三個(gè)項(xiàng)目分別是：Elasticsearch、Logstash 和 Kibana。
- Elasticsearch 是一個(gè)搜索和分析引擎。
- Logstash 是服務(wù)器端數(shù)據(jù)處理管道，能夠同時(shí)從多個(gè)來源采集數(shù)據(jù)，轉(zhuǎn)換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到諸如 Elasticsearch 等存儲庫中。
- Kibana 則可以讓用戶在 Elasticsearch 中使用圖形和圖表對數(shù)據(jù)進(jìn)行可視化。
Elasticsearch 的核心是搜索引擎，所以用戶開始將其用于日志用例，并希望能夠輕松地對日志進(jìn)行采集和可視化。有鑒于此，Elastic 引入了強(qiáng)大的采集管道 Logstash 和靈活的可視化工具 Kibana。
ELK日志系統(tǒng)數(shù)據(jù)流圖如下：
簡短了解 ELK 是個(gè)啥后，讓我們一起動(dòng)手搭建 ELK 實(shí)時(shí)日志分析平臺，首先安裝 Elasticsearch。
注：ELK 環(huán)境搭建版本很關(guān)鍵，建議統(tǒng)一版本，避免錯(cuò)誤無處下手，我在這里選用的是 7.1.0 版本。
ElasticSearch 介紹與安裝
ElasticSearch 的介紹與安裝在上一篇文章已經(jīng)講過了，這里就不進(jìn)行贅述了，大家可以點(diǎn)擊下方鏈接查看：
如果你已經(jīng)了解并安裝好 Elasticsearch，那么就跟著我一起往下一步進(jìn)發(fā)：了解并安裝 Kibana。
Kibana 介紹與安裝
這部分主要講解如何下載并安裝 Kibana，以及如何安裝 Kibana 插件，同時(shí)會針對 Kibana 的界面進(jìn)行簡單的介紹。
首先讓我們來看下 Kibana 究竟是何物？
什么是 Kibana？
Kibana 是為 Elasticsearch 設(shè)計(jì)的開源分析和可視化平臺，你可以使用 Kibana 來搜索，查看存儲在 Elasticsearch 索引中的數(shù)據(jù)并與之交互，你可以很容易實(shí)現(xiàn)高級的數(shù)據(jù)分析和可視化，以圖標(biāo)的形式展現(xiàn)出來。
在簡單了解了 Kibana 后，讓我們來到 Kibana 的下載網(wǎng)站 https://www.elastic.co/cn/downloads/kibana ，目前使用的是 Windows 系統(tǒng)，因此下載 Windows 版本的 Kibana 下載包 kibana-7.1.0-windows-x86_64.zip。
運(yùn)行 Kibana
下載完成后在本地解壓，如果需要對 Kibana 做一些定制，可以在 config 目錄下 編輯 kibana.yml 文件，在運(yùn)行 Kibana 之前需要先運(yùn)行 ElasticSearch（以下簡稱 ES），因?yàn)?Kibana 是基于 ES 運(yùn)行的，現(xiàn)在進(jìn)入 bin 目錄下打開 kibana.bat 就可以運(yùn)行 Kibana 了，我們現(xiàn)在打開瀏覽器，Kibana 是運(yùn)行在 5601 端口上的，因此打開 http://localhost:5601，打開后會出現(xiàn)如下頁面：
導(dǎo)入樣例數(shù)據(jù)，查看 Dashboard
進(jìn)入首頁后會提示我們可以添加一些測試數(shù)據(jù)，ES 在 Kibana 開箱即用的版本中，已經(jīng)為我們準(zhǔn)備了三種樣例數(shù)據(jù)，電商網(wǎng)站的訂單，航空公司的飛行記錄以及 WEB 網(wǎng)站的日志，我們可以點(diǎn)擊 Add data，把他們添加進(jìn)來，添加完成后，我們可以打開 Dashboards 界面，就可以看到系統(tǒng)已經(jīng)為我們創(chuàng)建了數(shù)據(jù)的 Dashboard。
第一個(gè)是電商的利潤報(bào)表，我們可以打開來看一下：
在 Dashboard 中，我們可以將多套可視結(jié)果整合至單一頁面內(nèi)，而后提供搜索查詢或者點(diǎn)擊可視結(jié)果內(nèi)的某元素指定過濾條件，從而實(shí)現(xiàn)結(jié)果過濾，Dashboard 能夠幫助我們更全面地了解總體日志內(nèi)容，并將各可視結(jié)果同日志關(guān)聯(lián)起來，以上就是 Kibana 的 Dashboard 功能。
Dev Tools
接下來介紹 Kibana 里面非常有用的工具 Dev Tools，其實(shí)就是可以很方便地在 Kibana 中執(zhí)行 ES 中的一些 API，比如我們上文講到的檢測有哪些節(jié)點(diǎn)在運(yùn)行： GET /_cat/nodes?v，這樣我們就能在 Kibana 中運(yùn)行 ES 命令了。
另外，Kibana 的 Dev Tools 還有許多的快捷菜單操作，比如 Ctrl + / 可以查看 API 幫助文檔，其他的大家可以去自行摸索。
安裝與查看插件
Kibana 可以通過插件的方式來提供一些 Kibana 中的特定應(yīng)用或者增強(qiáng)圖表展示的功能，Kibana 安裝插件和 ES 非常相似。
輸入 kibana-plugin install kibana-plugin install https://github.com/sivasamyk/logtrail/releases/download/v0.1.31/logtrail-7.1.0-0.1.31.zip 就可以下載 LogTrail 插件了。
在 cmd 中輸入 kibana-plugin list 可以查看本機(jī)已安裝的 Kibana 插件。
如果想移除插件可以使用 kibana-plugin remove logtrail 命令來進(jìn)行移除插件。
到此為止，我們就下載并安裝完成 Kibana，并對 Kibana 主要功能進(jìn)行簡單介紹，還介紹了 Dev Tools，大家可以自己在本地進(jìn)行實(shí)踐操作下。
目前就差 ELK 三兄弟的最后一個(gè)：Logstash，讓我們一起學(xué)習(xí)下。
Logstash 介紹與安裝
這部分主要是下載并安裝 Logstash，并通過 Logstash 將測試數(shù)據(jù)集導(dǎo)入到 ES 中。
話不多說，首先讓我們來了解下 Logstash 是個(gè)啥？
什么是 Logstash？
Logstash 是開源的服務(wù)器端數(shù)據(jù)處理管道，能夠同時(shí)從多個(gè)來源采集數(shù)據(jù)，轉(zhuǎn)換數(shù)據(jù)，然后將數(shù)據(jù)發(fā)送到您最喜歡的存儲庫中。
Logstash 能夠動(dòng)態(tài)地采集、轉(zhuǎn)換和傳輸數(shù)據(jù)，不受格式或復(fù)雜度的影響。利用 Grok 從非結(jié)構(gòu)化數(shù)據(jù)中派生出結(jié)構(gòu)，從 IP 地址解碼出地理坐標(biāo)，匿名化或排除敏感字段，并簡化整體處理過程。
數(shù)據(jù)往往以各種各樣的形式，或分散或集中地存在于很多系統(tǒng)中。Logstash 支持各種輸入選擇 ，可以在同一時(shí)間從眾多常用來源捕捉事件，能夠以連續(xù)的流式傳輸方式，輕松地從您的日志、指標(biāo)、Web 應(yīng)用、數(shù)據(jù)存儲以及各種 AWS 服務(wù)采集數(shù)據(jù)。
再了解過后，讓我們?nèi)ハ螺d安裝 Logstash。
安裝 Logstash
還是來到 Logstash 的官網(wǎng)，進(jìn)入到下載頁面 https://www.elastic.co/cn/downloads/logstash，下載的時(shí)候注意要和 ES 和 Kibana 的版本相同，這里下載的為 7.1.0 版本 logstash-7.1.0.zip。
下載后進(jìn)行解壓，也可以進(jìn)入 conf 目錄下修改 logstash.conf 進(jìn)行配置，運(yùn)行的時(shí)候可以通過指定配置文件 logstash -f logstash.conf 就可以執(zhí)行數(shù)據(jù)的插入和轉(zhuǎn)換的工作。
再安裝完成之后，讓我們來使用 Logstash 往 ES 中導(dǎo)入數(shù)據(jù)。
用 Logstash 導(dǎo)入 ES
下面我們來導(dǎo)入測試數(shù)據(jù)集，首先修改 logstash.conf 文件，內(nèi)容為：
input {
file {
path => ["D:/SoftWare/logstash-7.1.0/csv/movies.csv"]
start_position => "beginning"
sincedb_path => "D:/SoftWare/logstash-7.1.0/csv/null"
}
}
filter {
csv {
separator => ","
columns => ["id","content","genre"]
}
mutate {
split => { "genre" => "|" }
remove_field => ["path", "host","@timestamp","message"]
}
mutate {
split => ["content", "("]
add_field => { "title" => "%{[content][0]}"}
add_field => { "year" => "%{[content][1]}"}
}
mutate {
convert => {
"year" => "integer"
}
strip => ["title"]
remove_field => ["path", "host","@timestamp","message","content"]
}
}
output {
elasticsearch {
hosts => "http://localhost:9200"
index => "movies"
document_id => "%{id}"
}
stdout {}
}
測試數(shù)據(jù)集來自 Movielens ：https://grouplens.org/datasets/movielens/，大家可以前往下載。配置文件中的 path 根據(jù)自己下載的測試文件路徑去修改。另外，配置文件的邏輯將在以后的文章中進(jìn)行講解。
現(xiàn)在來執(zhí)行命令 logstash -f logstash.conf 來把數(shù)據(jù)導(dǎo)入 ES。當(dāng)看到數(shù)據(jù)打印到控制臺時(shí)，數(shù)據(jù)也正在被寫入 ES 中。
到此為止，我們就成功安裝了 Logstash，并通過 Logstash 將測試數(shù)據(jù)集寫入 ES，同時(shí)我們的 ELK 實(shí)時(shí)日志分析平臺就搭建完成了。
補(bǔ)充
在通過 Logstash 將測試數(shù)據(jù)集寫入 ES 后，小伙伴會發(fā)現(xiàn) movies 索引狀態(tài)為 yellow，不用擔(dān)心，yellow 代表有副本分片沒有被分配。
因?yàn)橹辉诒緳C(jī)之啟動(dòng)了一個(gè)節(jié)點(diǎn)，而 movies 的索引設(shè)置了一個(gè)主分片一個(gè)副本分片，主副分片是無法分配在一個(gè)節(jié)點(diǎn)上的。
解決方法：修改索引 setting，將副本 replica 設(shè)置成 0，或者為集群增加一個(gè)節(jié)點(diǎn)，狀態(tài)就會變?yōu)?green。
總結(jié)
本文主要了解了什么是 ELK，然后通過實(shí)際操作和大家一起搭建了一個(gè) ELK 日志分析平臺，如果在搭建過程中有什么問題，歡迎留言交流討論。
如果 ELK 安裝包或者測試數(shù)據(jù)集下載速度慢的話，可以在【武培軒】公眾號回復(fù) elk資料即可獲得。
參考文獻(xiàn)
https://www.elastic.co/guide/en/kibana/7.1/index.html
https://www.elastic.co/guide/en/logstash/7.1/index.html
Elasticsearch核心技術(shù)與實(shí)戰(zhàn)
