從零搭建Prometheus監(jiān)控報警系統(tǒng)

什么是Prometheus?

Prometheus是由SoundCloud開發(fā)的開源監(jiān)控報警系統(tǒng)和時序列數(shù)據(jù)庫(TSDB)。Prometheus使用Go語言開發(fā),是Google BorgMon監(jiān)控系統(tǒng)的開源版本。
2016年由Google發(fā)起Linux基金會旗下的原生云基金會(Cloud Native Computing Foundation), 將Prometheus納入其下第二大開源項目。
Prometheus目前在開源社區(qū)相當活躍。
Prometheus和Heapster(Heapster是K8S的一個子項目,用于獲取集群的性能數(shù)據(jù)。)相比功能更完善、更全面。Prometheus性能也足夠支撐上萬臺規(guī)模的集群。

Prometheus的特點

  • 多維度數(shù)據(jù)模型。
  • 靈活的查詢語言。
  • 不依賴分布式存儲,單個服務(wù)器節(jié)點是自主的。
  • 通過基于HTTP的pull方式采集時序數(shù)據(jù)。
  • 可以通過中間網(wǎng)關(guān)進行時序列數(shù)據(jù)推送。
  • 通過服務(wù)發(fā)現(xiàn)或者靜態(tài)配置來發(fā)現(xiàn)目標服務(wù)對象。
  • 支持多種多樣的圖表和界面展示,比如Grafana等。

官網(wǎng)地址:https://prometheus.io/

架構(gòu)圖

image
image

基本原理

Prometheus的基本原理是通過HTTP協(xié)議周期性抓取被監(jiān)控組件的狀態(tài),任意組件只要提供對應(yīng)的HTTP接口就可以接入監(jiān)控。不需要任何SDK或者其他的集成過程。這樣做非常適合做虛擬化環(huán)境監(jiān)控系統(tǒng),比如VM、Docker、Kubernetes等。輸出被監(jiān)控組件信息的HTTP接口被叫做exporter 。目前互聯(lián)網(wǎng)公司常用的組件大部分都有exporter可以直接使用,比如Varnish、Haproxy、Nginx、MySQL、Linux系統(tǒng)信息(包括磁盤、內(nèi)存、CPU、網(wǎng)絡(luò)等等)。

服務(wù)過程

  • Prometheus Daemon負責定時去目標上抓取metrics(指標)數(shù)據(jù),每個抓取目標需要暴露一個http服務(wù)的接口給它定時抓取。Prometheus支持通過配置文件、文本文件、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目標。Prometheus采用PULL的方式進行監(jiān)控,即服務(wù)器可以直接通過目標PULL數(shù)據(jù)或者間接地通過中間網(wǎng)關(guān)來Push數(shù)據(jù)。
  • Prometheus在本地存儲抓取的所有數(shù)據(jù),并通過一定規(guī)則進行清理和整理數(shù)據(jù),并把得到的結(jié)果存儲到新的時間序列中。
  • Prometheus通過PromQL和其他API可視化地展示收集的數(shù)據(jù)。Prometheus支持很多方式的圖表可視化,例如Grafana、自帶的Promdash以及自身提供的模版引擎等等。Prometheus還提供HTTP API的查詢方式,自定義所需要的輸出。
  • PushGateway支持Client主動推送metrics到PushGateway,而Prometheus只是定時去Gateway上抓取數(shù)據(jù)。
  • Alertmanager是獨立于Prometheus的一個組件,可以支持Prometheus的查詢語句,提供十分靈活的報警方式。

三大套件

  • Server 主要負責數(shù)據(jù)采集和存儲,提供PromQL查詢語言的支持。
  • Alertmanager 警告管理器,用來進行報警。
  • Push Gateway 支持臨時性Job主動推送指標的中間網(wǎng)關(guān)。

本飛豬教程內(nèi)容簡介

  • 1.演示安裝Prometheus Server
  • 2.演示通過golang和node-exporter提供metrics接口
  • 3.演示pushgateway的使用
  • 4.演示grafana的使用
  • 5.演示alertmanager的使用

安裝準備

這里我的服務(wù)器IP是10.211.55.25,登入,建立相應(yīng)文件夾

mkdir -p /home/chenqionghe/promethues
mkdir -p /home/chenqionghe/promethues/server
mkdir -p /home/chenqionghe/promethues/client
touch /home/chenqionghe/promethues/server/rules.yml
chmod 777 /home/chenqionghe/promethues/server/rules.yml

下面開始三大套件的學習

一.安裝Prometheus Server

通過docker方式
首先創(chuàng)建一個配置文件/home/chenqionghe/test/prometheus/prometheus.yml
掛載之前需要改變文件權(quán)限為777,要不會引起修改宿主機上的文件內(nèi)容不同步的問題

global:
  scrape_interval:     15s # 默認抓取間隔, 15秒向目標抓取一次數(shù)據(jù)。
  external_labels:
    monitor: 'codelab-monitor'
# 這里表示抓取對象的配置
scrape_configs:
    #這個配置是表示在這個配置內(nèi)的時間序例,每一條都會自動添加上這個{job_name:"prometheus"}的標簽  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全局抓取間隔時間,由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']

運行

docker rm -f prometheus
docker run --name=prometheus -d \
-p 9090:9090 \
-v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml \
-v /home/chenqionghe/promethues/server/rules.yml:/etc/prometheus/rules.yml \
prom/prometheus:v2.7.2 \
--config.file=/etc/prometheus/prometheus.yml \
--web.enable-lifecycle

啟動時加上--web.enable-lifecycle啟用遠程熱加載配置文件
調(diào)用指令是curl -X POST http://localhost:9090/-/reload

訪問http://10.211.55.25:9090
我們會看到如下l界面


image

訪問http://10.211.55.25:9090/metrics

image

我們配置了9090端口,默認prometheus會抓取自己的/metrics接口
在Graph選項已經(jīng)可以看到監(jiān)控的數(shù)據(jù)


image

二.安裝客戶端提供metrics接口

1.通過golang客戶端提供metrics

mkdir -p /home/chenqionghe/promethues/client/golang/src
cd !$
export GOPATH=/home/chenqionghe/promethues/client/golang/
#克隆項目
git clone https://github.com/prometheus/client_golang.git
#安裝需要FQ的第三方包
mkdir -p $GOPATH/src/golang.org/x/
cd !$
git clone https://github.com/golang/net.git
git clone https://github.com/golang/sys.git
git clone https://github.com/golang/tools.git
#安裝必要軟件包
go get -u -v github.com/prometheus/client_golang/prometheus
#編譯
cd $GOPATH/src/client_golang/examples/random
go build -o random main.go

運行3個示例metrics接口

./random -listen-address=:8080 &
./random -listen-address=:8081 &
./random -listen-address=:8082 &

2.通過node exporter提供metrics

docker run -d \
--name=node-exporter \
-p 9100:9100 \
prom/node-exporter

然后把這兩些接口再次配置到prometheus.yml, 重新載入配置curl -X POST http://localhost:9090/-/reload

global:
  scrape_interval:     15s # 默認抓取間隔, 15秒向目標抓取一次數(shù)據(jù)。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  #- 'prometheus.rules'
# 這里表示抓取對象的配置
scrape_configs:
  #這個配置是表示在這個配置內(nèi)的時間序例,每一條都會自動添加上這個{job_name:"prometheus"}的標簽  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全局抓取間隔時間,由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['http://10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'

可以看到接口都生效了


image

prometheus還提供了各種exporter工具,感興趣小伙伴可以去研究一下

三.安裝pushgateway

pushgateway是為了允許臨時作業(yè)和批處理作業(yè)向普羅米修斯公開他們的指標。
由于這類作業(yè)的存在時間可能不夠長, 無法抓取到, 因此它們可以將指標推送到推網(wǎng)關(guān)中。
Prometheus采集數(shù)據(jù)是用的pull也就是拉模型,這從我們剛才設(shè)置的5秒?yún)?shù)就能看出來。但是有些數(shù)據(jù)并不適合采用這樣的方式,對這樣的數(shù)據(jù)可以使用Push Gateway服務(wù)。
它就相當于一個緩存,當數(shù)據(jù)采集完成之后,就上傳到這里,由Prometheus稍后再pull過來。
我們來試一下,首先啟動Push Gateway

mkdir -p /home/chenqionghe/promethues/pushgateway
cd !$
docker run -d -p 9091:9091 --name pushgateway prom/pushgateway

訪問http://10.211.55.25:9091 可以看到pushgateway已經(jīng)運行起來了


image

接下來我們就可以往pushgateway推送數(shù)據(jù)了,prometheus提供了多種語言的sdk,最簡單的方式就是通過shell

  • 推送一個指標
echo "cqh_metric 100" | curl --data-binary @- http://ubuntu-linux:9091/metrics/job/cqh
  • 推送多個指標
cat <<EOF | curl --data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test
# 鍛煉場所價格
muscle_metric{label="gym"} 8800
# 三大項數(shù)據(jù) kg
bench_press 100
dead_lift 160
deep_squal 160
EOF

然后我們再將pushgateway配置到prometheus.yml里邊,重載配置
看到已經(jīng)可以搜索出剛剛推送的指標了


image

四.安裝Grafana展示

Grafana是用于可視化大型測量數(shù)據(jù)的開源程序,它提供了強大和優(yōu)雅的方式去創(chuàng)建、共享、瀏覽數(shù)據(jù)。
Dashboard中顯示了你不同metric數(shù)據(jù)源中的數(shù)據(jù)。
Grafana最常用于因特網(wǎng)基礎(chǔ)設(shè)施和應(yīng)用分析,但在其他領(lǐng)域也有用到,比如:工業(yè)傳感器、家庭自動化、過程控制等等。
Grafana支持熱插拔控制面板和可擴展的數(shù)據(jù)源,目前已經(jīng)支持Graphite、InfluxDB、OpenTSDB、Elasticsearch、Prometheus等。

我們使用docker安裝

docker run -d -p 3000:3000 --name grafana grafana/grafana

默認登錄賬戶和密碼都是admin,進入后界面如下


image

我們添加一個數(shù)據(jù)源


image

把Prometheus的地址填上


image

導入prometheus的模板


image

打開左上角選擇已經(jīng)導入的模板會看到已經(jīng)有各種圖


image

我們來添加一個自己的圖表


image
image
image

指定自己想看的指標和關(guān)鍵字,右上角保存


image

看到如下數(shù)據(jù)


image

到這里我們就已經(jīng)實現(xiàn)了數(shù)據(jù)的自動收集和展示,下面來說下prometheus如何自動報警

五.安裝AlterManager

Pormetheus的警告由獨立的兩部分組成。
Prometheus服務(wù)中的警告規(guī)則發(fā)送警告到Alertmanager。
然后這個Alertmanager管理這些警告。包括silencing, inhibition, aggregation,以及通過一些方法發(fā)送通知,例如:email,PagerDuty和HipChat。
建立警告和通知的主要步驟:

  • 創(chuàng)建和配置Alertmanager
  • 啟動Prometheus服務(wù)時,通過-alertmanager.url標志配置Alermanager地址,以便Prometheus服務(wù)能和Alertmanager建立連接。

創(chuàng)建和配置Alertmanager

mkdir -p /home/chenqionghe/promethues/alertmanager
cd !$

創(chuàng)建配置文件alertmanager.yml

global:
  resolve_timeout: 5m
route:
  group_by: ['cqh']
  group_wait: 10s #組報警等待時間
  group_interval: 10s #組報警間隔時間
  repeat_interval: 1m #重復報警間隔時間
  receiver: 'web.hook'
receivers:
  - name: 'web.hook'
    webhook_configs:
      - url: 'http://10.211.55.2:8888/open/test'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

這里配置成了web.hook的方式,當server通知alertmanager會自動調(diào)用webhook http://10.211.55.2:8888/open/test

下面運行altermanager

docker rm -f alertmanager
docker run -d -p 9093:9093 \
--name alertmanager \
-v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
prom/alertmanager

訪問http://10.211.55.25:9093


image

接下來修改Server端配置報警規(guī)則和altermanager地址
修改規(guī)則/home/chenqionghe/promethues/server/rules.yml

groups:
  - name: cqh
    rules:
      - alert: cqh測試
        expr: dead_lift > 150
        for: 1m
        labels:
          status: warning
        annotations:
          summary: "{{$labels.instance}}:硬拉超標!lightweight baby!!!"
          description: "{{$labels.instance}}:硬拉超標!lightweight baby!!!"

這條規(guī)則的意思是,硬拉超過150公斤,持續(xù)一分鐘,就報警通知
然后再修改prometheus添加altermanager配置

global:
  scrape_interval:     15s # 默認抓取間隔, 15秒向目標抓取一次數(shù)據(jù)。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  - /etc/prometheus/rules.yml
# 這里表示抓取對象的配置
scrape_configs:
  #這個配置是表示在這個配置內(nèi)的時間序例,每一條都會自動添加上這個{job_name:"prometheus"}的標簽  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全局抓取間隔時間,由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'
      - targets: ['10.211.55.25:9091']
        labels:
          group: 'pushgateway'
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["10.211.55.25:9093"]

重載prometheus配置,規(guī)則就已經(jīng)生效
接下來我們觀察grafana中數(shù)據(jù)的變化


image

然后我們點擊prometheus的Alert模塊,會看到已經(jīng)由綠->黃-紅,觸發(fā)了報警


image
image
image

然后我們再來看看提供的webhook接口,這里的接口我是用的golang寫的,接到數(shù)據(jù)后將body內(nèi)容報警到釘釘


image

釘釘收到報警內(nèi)容如下


image

到這里,從零開始搭建Prometheus實現(xiàn)自動監(jiān)控報警就說介紹完了,一條龍服務(wù),自動抓取接口+自動報警+優(yōu)雅的圖表展示,你還在等什么,趕緊high起來!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

推薦閱讀更多精彩內(nèi)容