蜜臀av999无码精品国产专区 ,77777亚洲熟妇av影院,噜噜色综合噜噜色噜噜色

前言

調(diào)研了ELK技術(shù)棧，發(fā)現(xiàn)新一代的logstash-forward即Filebeat，使用了golang，性能超logstash，部署簡單，占用資源少，可以很方便的和logstash和ES對接，作為日志文件采集組件。所以決定使用ELK+Filebeat的架構(gòu)進行平臺搭建。Filebeat是Beats家族的一員，后續(xù)可以使用Packetbeat進行網(wǎng)絡(luò)數(shù)據(jù)采集、Winlogbeat進行Windosw事件采集、Heartbeat進行心跳采集、Metricbeat進行系統(tǒng)指標采集。這種架構(gòu)解決了 Logstash 在各服務(wù)器節(jié)點上占用系統(tǒng)資源高的問題。相比 Logstash，Beats 所占系統(tǒng)的 CPU 和內(nèi)存幾乎可以忽略不計。另外，Beats 和 Logstash 之間支持 SSL/TLS 加密傳輸，客戶端和服務(wù)器雙向認證，保證了通信安全。

各組件承擔的角色和功能：

Elasticsearch：分布式搜索和分析引擎，具有高可伸縮、高可靠和易管理等特點。基于 Apache Lucene 構(gòu)建，能對大容量的數(shù)據(jù)進行接近實時的存儲、搜索和分析操作。通常被用作某些應(yīng)用的基礎(chǔ)搜索引擎，使其具有復(fù)雜的搜索功能；
Logstash：數(shù)據(jù)處理引擎，它支持動態(tài)的從各種數(shù)據(jù)源搜集數(shù)據(jù)，并對數(shù)據(jù)進行過濾、分析、豐富、統(tǒng)一格式等操作，然后存儲到 ES；
Kibana：數(shù)據(jù)分析和可視化平臺。與 Elasticsearch 配合使用，對數(shù)據(jù)進行搜索、分析和以統(tǒng)計圖表的方式展示；
Filebeat：ELK 協(xié)議棧的新成員，一個輕量級開源日志文件數(shù)據(jù)搜集器，使用 golang 基于 Logstash-Forwarder 源代碼開發(fā)，是對它的替代。在需要采集日志數(shù)據(jù)的 server 上安裝 Filebeat，并指定日志目錄或日志文件后，F(xiàn)ilebeat 就能讀取數(shù)據(jù)，迅速發(fā)送到 Logstash 進行解析。

ELK 常用架構(gòu)及使用場景介紹

在這個章節(jié)中，我們將介紹幾種常用架構(gòu)及使用場景。

All-In-One

在這種架構(gòu)中，只有一個 Logstash、Elasticsearch 和 Kibana 實例，集中部署于一臺服務(wù)器。Logstash 通過輸入插件從多種數(shù)據(jù)源（比如日志文件、標準輸入 Stdin 等）獲取數(shù)據(jù)，再經(jīng)過濾插件加工數(shù)據(jù)，然后經(jīng) Elasticsearch 輸出插件輸出到 Elasticsearch，通過 Kibana 展示。詳見圖 1。

All-in-One

這種架構(gòu)非常簡單，使用場景也有限。初學(xué)者可以搭建這個架構(gòu)，了解 ELK 如何工作。

Logstash 分布式采集

這種架構(gòu)是對上面架構(gòu)的擴展，把一個 Logstash 數(shù)據(jù)搜集節(jié)點擴展到多個，分布于多臺機器，將解析好的數(shù)據(jù)發(fā)送到 Elasticsearch server 進行存儲，最后在 Kibana 查詢、生成日志報表等。詳見圖 2。

Logstash 分布式采集

這種結(jié)構(gòu)因為需要在各個服務(wù)器上部署 Logstash，而它比較消耗 CPU 和內(nèi)存資源，所以比較適合計算資源豐富的服務(wù)器，否則容易造成服務(wù)器性能下降，甚至可能導(dǎo)致無法正常工作。

Beats 分布式采集

這種架構(gòu)引入 Beats 作為日志搜集器。目前 Beats 包括四種：

Packetbeat（搜集網(wǎng)絡(luò)流量數(shù)據(jù)）；
Topbeat（搜集系統(tǒng)、進程和文件系統(tǒng)級別的 CPU 和內(nèi)存使用情況等數(shù)據(jù)）；
Filebeat（搜集文件數(shù)據(jù)）；
Winlogbeat（搜集 Windows 事件日志數(shù)據(jù)）。

Beats 將搜集到的數(shù)據(jù)發(fā)送到 Logstash，經(jīng) Logstash 解析、過濾后，將其發(fā)送到 Elasticsearch 存儲，并由 Kibana 呈現(xiàn)給用戶。詳見圖 3。

Beats 分布式采集

這種架構(gòu)解決了 Logstash 在各服務(wù)器節(jié)點上占用系統(tǒng)資源高的問題。相比 Logstash，Beats 所占系統(tǒng)的 CPU 和內(nèi)存幾乎可以忽略不計。另外，Beats 和 Logstash 之間支持 SSL/TLS 加密傳輸，客戶端和服務(wù)器雙向認證，保證了通信安全。

因此這種架構(gòu)適合對數(shù)據(jù)安全性要求較高，同時各服務(wù)器性能比較敏感的場景。

引入消息隊列機制的 Logstash 分布式架構(gòu)

這種架構(gòu)使用 Logstash 從各個數(shù)據(jù)源搜集數(shù)據(jù)，然后經(jīng)消息隊列輸出插件輸出到消息隊列中。目前 Logstash 支持 Kafka、Redis、RabbitMQ 等常見消息隊列。然后 Logstash 通過消息隊列輸入插件從隊列中獲取數(shù)據(jù)，分析過濾后經(jīng)輸出插件發(fā)送到 Elasticsearch，最后通過 Kibana 展示。詳見圖 4。

引入消息隊列機制的 Logstash 分布式架構(gòu)

這種架構(gòu)適合于日志規(guī)模比較龐大的情況。但由于 Logstash 日志解析節(jié)點和 Elasticsearch 的負荷比較重，可將他們配置為集群模式，以分擔負荷。引入消息隊列，均衡了網(wǎng)絡(luò)傳輸，從而降低了網(wǎng)絡(luò)閉塞，尤其是丟失數(shù)據(jù)的可能性，但依然存在 Logstash 占用系統(tǒng)資源過多的問題。

引入消息隊列機制的 Filebeat + Logstash 分布式架構(gòu)

截至到我們調(diào)研為止，F(xiàn)ilebeat 已經(jīng)支持 kafka 作為 ouput，5.2.1 版本的 Logstash 已經(jīng)支持 Kafka 作為 Input，和上面的架構(gòu)不同的地方僅在于，把 Logstash 日志搜集發(fā)送替換為了 Filebeat。這種架構(gòu)是當前最為完美的，有極低的客戶端采集開銷，引入消息隊列，均衡了網(wǎng)絡(luò)傳輸，從而降低了網(wǎng)絡(luò)閉塞，尤其是丟失數(shù)據(jù)的可能性。

引入消息隊列機制的 Filebeat + Logstash 分布式架構(gòu)

對于綠灣的架構(gòu)選型來說，高質(zhì)量的數(shù)據(jù)傳輸、日志采集的低資源開銷都需要考慮，同時，也需要logstash強大的插件支持靈活的日志數(shù)據(jù)過濾處理。確定采用引入消息隊列機制的 Filebeat + Logstash 分布式架構(gòu)。

接下來我們進行初步的探視，利用測試環(huán)境體驗下ELK Stack + Filebeat，測試環(huán)境我們就不進行 Kafka 的配置了，因為他的存在意義在于提高可靠性。

測試環(huán)境

CentOS 7.2
JDK 1.8.0_65
Filebeat 5.2.1
Log stash 5.2.1
ES 5.2.1
Kibana 5.2.1

機器分布

IP	Role
172.16.134.2	Logstash, ES, Kibana
172.16.134.3	Filebeat
172.16.134.8	Filebeat

瀏覽器支持

Kibana 4.x 不支持 IE9 及以下；Kibana 3.1 雖然支持 IE9，但是不支持 Safari(iOS)和 Chrome(Android)。具體對瀏覽器的支持，請看這里。

部署步驟

ELK 官網(wǎng)對于每種軟件提供了多種格式的安裝包（zip/tar/rpm/DEB），以 Linux 系列系統(tǒng)為例，如果直接下載 RPM，可以通過 rpm -ivh path_of_your_rpm_file直接安裝成系統(tǒng) service。以后就可以使用 service 命令啟停。比如service elasticsearch start/stop/status。很簡單，但缺點也很明顯，就是不能自定義安裝目錄，相關(guān)文件放置比較分散。

實際使用中更常用是使用 tar 包安裝，每種軟件產(chǎn)品的安裝過程非常相似。

Step1. SSH免密鑰

假設(shè)所有步驟都在admin賬戶下執(zhí)行，所有服務(wù)器的admin賬戶密碼統(tǒng)一，需要打通172.16.134.2至所有agent的SSH免密登錄，假設(shè)list_all已經(jīng)包含了所有agent機器的列表：

172.16.134.2
172.16.134.3
172.16.134.8

進行密鑰打通：

ssh-keygen
for agent in `cat list_all`;do ssh-copy-id -i /home/admin/.ssh/id_rsa.pub admin@${agent};done;

Step2. JDK安裝

JDK 是 IBM Java 8。ELK 需要 Oracle 1.7(或者是 OpenJDK 1.7) 及以上，如果是 IBM Java，則需要 8 及以上的版本。具體信息。

pssh -h list_all "sudo yum install -y java-1.8.0-openjdk.x86_64"

修改環(huán)境變量：

# .bash_profile 
# Get the aliases and functions 
if [ -f ~/.bashrc ]; then 
    . ~/.bashrc 
fi 
# User specific environment and startup programs 
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
PATH=$JAVA_HOME/bin:$PATH 
export PATH JAVA_HOME

分發(fā)環(huán)境變量配置：

pscp -h list_all ~/.bash_profile /tmp 
pssh -h list_all "sudo cp /tmp/.bash_profile ~/"

Step3. 服務(wù)安裝

安裝ElasticSearch

下載安裝包，如果待安裝機器能訪問外網(wǎng)，可以直接用以下命令下載安裝包。

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.1.tar.gz

否則下載好后用 ftp 客戶端等工具把包傳過去。

解壓到172.16.134.2指定目錄/home/admin/soft：

tar zxvf elasticsearch-5.2.1.tar.gz -C /home/admin/soft/

這時就能在 /home/admin/soft 下看到剛才解壓出來的 elasticsearch-5.2.1 文件夾。

修改配置config/elasticsearch.yml：

cluster.name: lw-test
node.name: v134002.yn1.lwsite.net
path.data: /home/admin/soft/elasticsearch-5.2.1/data
path.logs: /home/admin/soft/elasticsearch-5.2.1/logs
network.host: 172.16.134.2
http.port: 9200

Elasticsearch默認使用混合mmapfs / niofs目錄來存儲其索引。對mmap計數(shù)的默認操作系統(tǒng)限制可能過低，這可能導(dǎo)致內(nèi)存不足異常。修改內(nèi)核參數(shù)vm.max_map_count：

sudo sysctl -w vm.max_map_count=262144
sudo vim /etc/sysctl.conf
vm.max_map_count = 262144

確認內(nèi)核參數(shù)是否生效：

sysctl vm.max_map_count

修改 /etc/security/limits.conf，添加：

admin soft nofile 65536
admin hard nofile 65536

修改 /etc/security/limits.d/90-nproc.conf，添加：

admin      soft    nproc     2048

重新以admin登錄后運行：

/home/admin/soft/elasticsearch-5.2.1/bin/elasticsearch &

驗證是否啟動：

curl 'http://172.16.134.2:9200'

看到如下輸出表示啟動成功：

{
  "name" : "luOq_eh",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "mIcflXKsR3-ER66MCTSJzA",
  "version" : {
    "number" : "5.2.1",
    "build_hash" : "db0d481",
    "build_date" : "2017-02-09T22:05:32.386Z",
    "build_snapshot" : false,
    "lucene_version" : "6.4.1"
  },
  "tagline" : "You Know, for Search"
}

可以看到，它跟其他的節(jié)點的傳輸端口為9300，接受HTTP請求的端口為9200。

安裝ElasticSearch Head (可選)

Head是一個用瀏覽器跟ES集群交互的插件，可以查看集群狀態(tài)、集群的doc內(nèi)容、執(zhí)行搜索和普通的Rest請求等，本文不復(fù)述，這個不是重點。

安裝Logstash

下載安裝包，如果待安裝機器能訪問外網(wǎng)，可以直接用以下命令下載安裝包。

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.2.1.tar.gz

否則下載好后用 ftp 客戶端等工具把包傳過去。

解壓到172.16.134.2指定目錄/home/admin/soft：

tar -zxvf logstash-5.2.1.tar.gz -C /home/admin/soft

一個Logstash的pipeline由3部分組成：input, filter, output。

Basic Logstash Pipeline

為了進行安裝完成后的測試，我們運行下最基本的pipeline：

cd logstash-5.2.1
bin/logstash -e 'input { stdin { } } output { stdout {} }'

-e 可以允許進行命令行的直接配置，而無需進行文件配置。這個pipeline例子從標準輸入獲取數(shù)據(jù) stdin，并把結(jié)構(gòu)化數(shù)據(jù)輸出到標準輸出stdout。在啟動后，看到日志Pipeline main started后，在終端中輸入hello world，可以在終端中看到對應(yīng)輸出：

hello world
2017-02-18T09:48:22.414Z v134002.yn1 hello world

在我們的架構(gòu)中，Logstash的input是beat，output是ES，需要對應(yīng)的插件。

安裝beat input插件：

./bin/logstash-plugin prepare-offline-pack logstash-input-beats
./bin/logstash-plugin install file:///home/admin/soft/logstash-5.2.1/logstash-offline-plugins-5.2.1.zip

配置 5044 端口作為 Filebeat 的連接和創(chuàng)建 ES 索引。修改 logstash.conf 配置文件，保存在 config 目錄:

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => "172.16.134.2:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

Logstash 使用該配置使用 ES 的索引，和 Filebeat 做的事情是一樣的，不過擁有了額外的緩存以及強大豐富的插件庫。

啟動 logstash ：

./bin/logstash -f config/logstash.conf &

安裝Kibana

Kibana 從 ES 獲取數(shù)據(jù)做前端的可視化展示。它提供了用戶體驗極佳的高定制化 UI，可以靈活配置出你需要的 Dashboard。 Dashboard 可以輕易的保存、鏈接和分享。

測試環(huán)境，筆者把 Kibana 和 ES 進行了混部，但是在實際生產(chǎn)環(huán)境中是沒有必要的。我們可以通過配置文件 config/kibana.yml 中的URL(IP:PORT) 去指定需要訪問的 ES 服務(wù)端。

curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-5.2.1-linux-x86_64.tar.gz
tar xzvf kibana-5.2.1-linux-x86_64.tar.gz
cd kibana-5.2.1-linux-x86_64/
./bin/kibana

修改配置 config/kibana.yml：

elasticsearch.url: "http://172.16.134.2:9200"
server.host: "172.16.134.2"

啟動服務(wù)：

./bin/kibana &

在瀏覽器中訪問，確認是否正常啟動：

http://172.16.134.2:5601/

安裝Filebeat

在 172.16.134.3, 172.16.134.8 上進行Filebeat的安裝，采集 Filebeat 自身的運行日志：/home/admin/soft/filebeat-5.2.1-linux-x86_64/logs/filebeat。

在安裝之前，需要確認以上服務(wù)已經(jīng)正常運行：

存儲和索引數(shù)據(jù)的 Elasticsearch 已經(jīng)啟動。
UI 展示的 Kibana 已經(jīng)啟動。
寫入和過濾數(shù)據(jù)的 Logstash 已經(jīng)啟動。

下載安裝包，安裝服務(wù)：

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.2.1-linux-x86_64.tar.gz
tar zxvf filebeat-5.2.1-linux-x86_64.tar.gz -C /home/admin/soft/

修改配置：

cp filebeat.full.yml filebeat.yml

# 修改配置
filebeat.prospectors:
- input_type: log
  paths:
    - /home/admin/soft/filebeat-5.2.1-linux-x86_64/logs/filebeat
output.logstash:
  hosts: ["172.16.134.2:5044"]

logging.level: debug 這個配置一般情況下不要開，因為會把所有 message 都會明文打印出來，一來不安全，二來磁盤壓力大。
測試配置是否正確：

./filebeat -configtest -e

有如下輸出表示正常：

Config OK

在 Elasticsearch 中， Index Pattern 用于定義字段應(yīng)如何分析的設(shè)置和映射。Filebeat 的默認 Index Pattern 由軟件包安裝。如果在 filebeat.yml 配置文件中接受模板加載的默認配置，則 Filebeat 在成功連接到Elasticsearch后會自動加載模板。如果模板已存在，默認不會覆蓋，但是可以通過配置進行覆蓋。如果要禁用自動模板加載，或者要加載自己的模板，可以在Filebeat配置文件中更改模板加載的設(shè)置。如果選擇禁用自動模板加載，則需要手動加載模板。

配置模板加載 - 僅Elasticsearch輸出支持。

手動加載模板 - Logstash輸出所需。

由于我們需要的是輸出到 Logstash，所以我們使用手動模板加載：

curl -XPUT 'http://172.16.134.2:9200/_template/filebeat' -d@/home/admin/soft/filebeat-5.2.1-linux-x86_64/filebeat.template.json

如果已經(jīng)使用 Filebeat 將數(shù)據(jù)索引到 Elasticsearch 中，則索引可能包含舊文檔。加載 Index Pattern 后，您可以從filebeat- * 中刪除舊文檔，以強制 Kibana 查看最新的文檔。使用此命令：

curl -XDELETE 'http://172.16.134.2:9200/filebeat-*'

啟動服務(wù)：

./filebeat start &

如果對于生產(chǎn)環(huán)境，我們應(yīng)該用 systemd 來管理進程，修改 /usr/lib/systemd/system/filebeat.service ：

[Unit]
Description=Filebeat
Documentation=https://www.elastic.co/guide
After=network.target

[Service]
Type=Simple
ExecStart=/home/admin/soft/filebeat-5.2.1-linux-x86_64/filebeat -c /home/admin/soft/filebeat-5.2.1-linux-x86_64/filebeat.yml -httpprof 0.0.0.0:6060
ExecStop=/bin/kill -WINCH ${MAINPID}
Restart=always
RestartSec=0
WatchdogSec=1min
LimitNOFILE=100
LimitNPROC=100

[Install]
WantedBy=multi-user.target

其中filebest-current只是軟連接，連接到真實目錄，便于后續(xù)維護升級。
腳本 filebeat-stop.sh：

#!/bin/bash
pid=`ps aux | grep filebeat | grep -v grep | awk '{print$2}'`
sudo kill -9 $pid

分發(fā) filebeat.service filebeat-stop.sh

pscp -h list_filebeat filebeat.service /tmp
pssh -h list_filebeat "sudo cp /tmp/filebeat.service /usr/lib/systemd/system/"
pscp -h list_filebeat filebeat-stop.sh /home/admin/soft/filebeat-current/
pssh -h list_filebeat "sudo systemctl daemon-reload"
pssh -h list_filebeat "sudo systemctl enable filebeat"

啟動/停止腳本：

sudo systemd start filebeat
sudo systemd stop filebeat

注意，所采集的日志需要有 admin 用戶的讀權(quán)限，并且路徑必須有執(zhí)行權(quán)限。

Step4. Kibana 中加載 Index Pattern

在 Kibana 的 Discover 模塊中，可以添加 filebeat-* 作為 Index Pattern。看到如下界面，說明添加成功：

Index Pattern 添加成功

我們可以根據(jù) Fields 進行日志索引，還可以對其進行排序。

Q & A

Q: Discover: Fielddata is disabled on text fields by default. Set fielddata=true on [message] in order to load fielddata in memory by uninverting the inverted index. Note that this can however use significant memory.

A: Fielddata 會使用大量的堆內(nèi)存，尤其是加載了大量的 text fileds。一旦 fileddata 被加載進入了堆，在生命周期內(nèi)會一直常駐。同時，加載 fileddata 非常耗時，影響用戶體驗。這就是為什么默認禁止了 fielddata。如果嘗試對 text field 進行排序、聚合，就會報錯如上。在嘗試開啟 fielddata 之前應(yīng)該想想為什么要這么做，因為通常情況下不需要。

使用 Kibana Discover 搜索日志

Discover界面主要是通過各種過濾器搜索日志，如時間、type、loglevel等，并對所搜索到的日志做簡單統(tǒng)計。界面如下所示，index 欄顯示當前選擇的 elasticsearch 中的 index。以下只做引導(dǎo)式介紹。

Discover 界面

Search 表示的是搜索欄，輸入想要搜索的關(guān)鍵字；
filebeat 表示的是 index pattern 欄，我們之前導(dǎo)入的是 filbeat-*；
Selected Fields 表示的是已選字段，右側(cè)的內(nèi)容框只會顯示已選字段數(shù)據(jù)；
Available Fileds 可以對預(yù)定義字段進行篩選，可以對 Popular 中顯示的可選字段進行篩選；
Popular 顯示的是最常用的字段；
右上角的 Last 15 minutes 是用來選擇時間區(qū)間的，也可以選擇定時刷新 Auto Refresh；

搜索欄的使用

全字段匹配：搜索功能的后臺支持是elasticsearch，屬于全文搜索引擎，可以通過雙引號進行任何字符串的匹配，如"write_bytes=383"，搜索結(jié)果為 message 字段包含了該字符串的日志數(shù)據(jù)：

全字段匹配

使用字段和邏輯表達：Elasticsearch的數(shù)據(jù)源是經(jīng)過logstash格式化的日志，該格式通過elasticsearch的mapping API對應(yīng)到kibana的字段。在文檔欄的 source 中可以查看到格式化后的日志，以及原日志。搜索時可以使用字段和邏輯表達，如type: log等。這里注意，輸入過程中kibana的搜索欄會動態(tài)解析搜索內(nèi)容，搜索表達式輸入過程中可能會顯示紅框，提示無法解析，待全部輸入完全即可：

使用字段和邏輯表達

使用過濾器：過濾器可以疊加使用，左側(cè)邊欄只能夠?qū)?code>已有字段進行設(shè)置。鼠標移動到對應(yīng)字段，字段會變灰，并顯示該字段統(tǒng)計量前五的數(shù)據(jù)，如下所示：

使用過濾器

點擊對應(yīng)+（正向過濾）、-（反向過濾）進行過濾。對所有字段的過濾，可以在文檔欄的 source 中進行選擇，如下所示：

所有字段過濾

選擇后的過濾器會顯示在搜索欄下方，便于進行設(shè)置：

編輯過濾器

圖標和文字可以達到相同的功能，分別是過濾器 Enable、Disable、反選、鎖定（更改搜索內(nèi)容不變更）和刪除。

工具欄的使用

過濾器設(shè)置好后，可以對該設(shè)置在工具欄中進行保存，作為visualize的數(shù)據(jù)源。三個圖標分別是開始一個新的搜索(New)、保存搜索(Save)、打開搜索(Open)、分享搜索(Share)。

工具欄

柱狀圖統(tǒng)計

柱狀圖實時對搜索內(nèi)容進行統(tǒng)計，以時間作為橫坐標，顯示搜索到的總?cè)罩緱l數(shù)。也可以通過箭頭按鈕展開或折疊顯示相應(yīng)的文本記錄。默認一頁最多顯示500條。鼠標移動到相應(yīng)柱狀，可顯示對應(yīng)條數(shù)，數(shù)遍變?yōu)槭郑梢赃M行放大（zoom in）或縮小(zoom out)。

文檔欄字段選擇

默認文檔欄顯示所有字段，需要調(diào)整顯示字段，可以在頁面左邊字段選擇框添加和刪除。鼠標移動到相應(yīng)字段，字段變灰，同時出現(xiàn)add或remove按鈕。所選字段也可以進行移動布局，或排序。字段是否作為popular field，在settings中進行設(shè)置。

結(jié)合 Discover 和 Visualize 進行可視化圖標展示

假設(shè)我們需要對來自2臺 Filebeat 采集到的 message 數(shù)量按照 host 進行區(qū)別統(tǒng)計 sum。

首先我們在 Discover 中定義一個 Search ， Selected Fields 選擇 host message：

定義 Search

點擊 Save 進行保存，命名為 test1。

然后我們在 Visualize 里 Vertical Bar Chart ，在右側(cè)的 Or, From a Saved Search 里搜索 test1，并且進入編輯。Y-Axis 和 X-Axis 分別配置如下：

Y 軸配置

X 軸配置

點擊Apply Changes所得到的圖表如下：

柱狀圖

點擊 Save，我們可以很方便的在 Dashboard 中 Add 這個視圖。

Q & A

Q: 啟動 ES 的時候報錯：system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk。
A: SecComp fails on CentOS 6，修改 elasticsearch.yml ，在 Memory 的配置下面添加：bootstrap.system_call_filter: false。

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

集中式日志分析平臺 - ELK Stack - 部署篇

集中式日志分析平臺 - ELK Stack - 部署篇

前言

ELK 常用架構(gòu)及使用場景介紹

All-In-One

Logstash 分布式采集

Beats 分布式采集

引入消息隊列機制的 Logstash 分布式架構(gòu)

引入消息隊列機制的 Filebeat + Logstash 分布式架構(gòu)

測試環(huán)境

機器分布

瀏覽器支持

部署步驟

Step1. SSH免密鑰

Step2. JDK安裝

Step3. 服務(wù)安裝

安裝ElasticSearch

安裝ElasticSearch Head (可選)

安裝Logstash

安裝Kibana

安裝Filebeat

Step4. Kibana 中加載 Index Pattern

Q & A

使用 Kibana Discover 搜索日志

搜索欄的使用

工具欄的使用

柱狀圖統(tǒng)計

文檔欄字段選擇

結(jié)合 Discover 和 Visualize 進行可視化圖標展示

Q & A

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

集中式日志分析平臺 - ELK Stack - 部署篇

前言

ELK 常用架構(gòu)及使用場景介紹

All-In-One

Logstash 分布式采集

Beats 分布式采集

引入消息隊列機制的 Logstash 分布式架構(gòu)

引入消息隊列機制的 Filebeat + Logstash 分布式架構(gòu)

測試環(huán)境

機器分布

瀏覽器支持

部署步驟

Step1. SSH免密鑰

Step2. JDK安裝

Step3. 服務(wù)安裝

安裝ElasticSearch

安裝ElasticSearch Head (可選)

安裝Logstash

安裝Kibana

安裝Filebeat

Step4. Kibana 中加載 Index Pattern

Q & A

使用 Kibana Discover 搜索日志

搜索欄的使用

工具欄的使用

柱狀圖統(tǒng)計

文檔欄字段選擇

結(jié)合 Discover 和 Visualize 進行可視化圖標展示

Q & A

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频