什么是Prometheus?

Prometheus是由SoundCloud開發(fā)的開源監(jiān)控報警系統(tǒng)和時序列數(shù)據(jù)庫(TSDB)。Prometheus使用Go語言開發(fā)，是Google BorgMon監(jiān)控系統(tǒng)的開源版本。
2016年由Google發(fā)起Linux基金會旗下的原生云基金會(Cloud Native Computing Foundation), 將Prometheus納入其下第二大開源項目。
Prometheus目前在開源社區(qū)相當活躍。
Prometheus和Heapster(Heapster是K8S的一個子項目，用于獲取集群的性能數(shù)據(jù)。)相比功能更完善、更全面。Prometheus性能也足夠支撐上萬臺規(guī)模的集群。

Prometheus的特點

多維度數(shù)據(jù)模型。
靈活的查詢語言。
不依賴分布式存儲，單個服務(wù)器節(jié)點是自主的。
通過基于HTTP的pull方式采集時序數(shù)據(jù)。
可以通過中間網(wǎng)關(guān)進行時序列數(shù)據(jù)推送。
通過服務(wù)發(fā)現(xiàn)或者靜態(tài)配置來發(fā)現(xiàn)目標服務(wù)對象。
支持多種多樣的圖表和界面展示，比如Grafana等。

官網(wǎng)地址：https://prometheus.io/

架構(gòu)圖

image

基本原理

Prometheus的基本原理是通過HTTP協(xié)議周期性抓取被監(jiān)控組件的狀態(tài)，任意組件只要提供對應(yīng)的HTTP接口就可以接入監(jiān)控。不需要任何SDK或者其他的集成過程。這樣做非常適合做虛擬化環(huán)境監(jiān)控系統(tǒng)，比如VM、Docker、Kubernetes等。輸出被監(jiān)控組件信息的HTTP接口被叫做exporter 。目前互聯(lián)網(wǎng)公司常用的組件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系統(tǒng)信息(包括磁盤、內(nèi)存、CPU、網(wǎng)絡(luò)等等)。

服務(wù)過程

Prometheus Daemon負責定時去目標上抓取metrics(指標)數(shù)據(jù)，每個抓取目標需要暴露一個http服務(wù)的接口給它定時抓取。Prometheus支持通過配置文件、文本文件、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目標。Prometheus采用PULL的方式進行監(jiān)控，即服務(wù)器可以直接通過目標PULL數(shù)據(jù)或者間接地通過中間網(wǎng)關(guān)來Push數(shù)據(jù)。
Prometheus在本地存儲抓取的所有數(shù)據(jù)，并通過一定規(guī)則進行清理和整理數(shù)據(jù)，并把得到的結(jié)果存儲到新的時間序列中。
Prometheus通過PromQL和其他API可視化地展示收集的數(shù)據(jù)。Prometheus支持很多方式的圖表可視化，例如Grafana、自帶的Promdash以及自身提供的模版引擎等等。Prometheus還提供HTTP API的查詢方式，自定義所需要的輸出。
PushGateway支持Client主動推送metrics到PushGateway，而Prometheus只是定時去Gateway上抓取數(shù)據(jù)。
Alertmanager是獨立于Prometheus的一個組件，可以支持Prometheus的查詢語句，提供十分靈活的報警方式。

三大套件

Server 主要負責數(shù)據(jù)采集和存儲，提供PromQL查詢語言的支持。
Alertmanager 警告管理器，用來進行報警。
Push Gateway 支持臨時性Job主動推送指標的中間網(wǎng)關(guān)。

本飛豬教程內(nèi)容簡介

1.演示安裝Prometheus Server
2.演示通過golang和node-exporter提供metrics接口
3.演示pushgateway的使用
4.演示grafana的使用
5.演示alertmanager的使用

安裝準備

這里我的服務(wù)器IP是10.211.55.25，登入，建立相應(yīng)文件夾

mkdir -p /home/chenqionghe/promethues
mkdir -p /home/chenqionghe/promethues/server
mkdir -p /home/chenqionghe/promethues/client
touch /home/chenqionghe/promethues/server/rules.yml
chmod 777 /home/chenqionghe/promethues/server/rules.yml

下面開始三大套件的學習

一.安裝Prometheus Server

通過docker方式
首先創(chuàng)建一個配置文件/home/chenqionghe/test/prometheus/prometheus.yml
掛載之前需要改變文件權(quán)限為777，要不會引起修改宿主機上的文件內(nèi)容不同步的問題

global:
  scrape_interval:     15s # 默認抓取間隔, 15秒向目標抓取一次數(shù)據(jù)。
  external_labels:
    monitor: 'codelab-monitor'
# 這里表示抓取對象的配置
scrape_configs:
    #這個配置是表示在這個配置內(nèi)的時間序例，每一條都會自動添加上這個{job_name:"prometheus"}的標簽  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全局抓取間隔時間，由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']

運行

docker rm -f prometheus
docker run --name=prometheus -d \
-p 9090:9090 \
-v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml \
-v /home/chenqionghe/promethues/server/rules.yml:/etc/prometheus/rules.yml \
prom/prometheus:v2.7.2 \
--config.file=/etc/prometheus/prometheus.yml \
--web.enable-lifecycle

啟動時加上--web.enable-lifecycle啟用遠程熱加載配置文件
調(diào)用指令是curl -X POST http://localhost:9090/-/reload

訪問http://10.211.55.25:9090
我們會看到如下l界面

image

訪問http://10.211.55.25:9090/metrics

image

我們配置了9090端口，默認prometheus會抓取自己的/metrics接口
在Graph選項已經(jīng)可以看到監(jiān)控的數(shù)據(jù)

image

二.安裝客戶端提供metrics接口

1.通過golang客戶端提供metrics

mkdir -p /home/chenqionghe/promethues/client/golang/src
cd !$
export GOPATH=/home/chenqionghe/promethues/client/golang/
#克隆項目
git clone https://github.com/prometheus/client_golang.git
#安裝需要FQ的第三方包
mkdir -p $GOPATH/src/golang.org/x/
cd !$
git clone https://github.com/golang/net.git
git clone https://github.com/golang/sys.git
git clone https://github.com/golang/tools.git
#安裝必要軟件包
go get -u -v github.com/prometheus/client_golang/prometheus
#編譯
cd $GOPATH/src/client_golang/examples/random
go build -o random main.go

運行3個示例metrics接口

./random -listen-address=:8080 &
./random -listen-address=:8081 &
./random -listen-address=:8082 &

2.通過node exporter提供metrics

docker run -d \
--name=node-exporter \
-p 9100:9100 \
prom/node-exporter

然后把這兩些接口再次配置到prometheus.yml, 重新載入配置curl -X POST http://localhost:9090/-/reload

global:
  scrape_interval:     15s # 默認抓取間隔, 15秒向目標抓取一次數(shù)據(jù)。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  #- 'prometheus.rules'
# 這里表示抓取對象的配置
scrape_configs:
  #這個配置是表示在這個配置內(nèi)的時間序例，每一條都會自動添加上這個{job_name:"prometheus"}的標簽  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全局抓取間隔時間，由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['http://10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'

可以看到接口都生效了

image

prometheus還提供了各種exporter工具，感興趣小伙伴可以去研究一下

三.安裝pushgateway

pushgateway是為了允許臨時作業(yè)和批處理作業(yè)向普羅米修斯公開他們的指標。
由于這類作業(yè)的存在時間可能不夠長, 無法抓取到, 因此它們可以將指標推送到推網(wǎng)關(guān)中。
Prometheus采集數(shù)據(jù)是用的pull也就是拉模型，這從我們剛才設(shè)置的5秒?yún)?shù)就能看出來。但是有些數(shù)據(jù)并不適合采用這樣的方式，對這樣的數(shù)據(jù)可以使用Push Gateway服務(wù)。
它就相當于一個緩存，當數(shù)據(jù)采集完成之后，就上傳到這里，由Prometheus稍后再pull過來。
我們來試一下，首先啟動Push Gateway

mkdir -p /home/chenqionghe/promethues/pushgateway
cd !$
docker run -d -p 9091:9091 --name pushgateway prom/pushgateway

訪問http://10.211.55.25:9091 可以看到pushgateway已經(jīng)運行起來了

image

接下來我們就可以往pushgateway推送數(shù)據(jù)了，prometheus提供了多種語言的sdk，最簡單的方式就是通過shell

推送一個指標

echo "cqh_metric 100" | curl --data-binary @- http://ubuntu-linux:9091/metrics/job/cqh

推送多個指標

cat <<EOF | curl --data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test
# 鍛煉場所價格
muscle_metric{label="gym"} 8800
# 三大項數(shù)據(jù) kg
bench_press 100
dead_lift 160
deep_squal 160
EOF

然后我們再將pushgateway配置到prometheus.yml里邊,重載配置
看到已經(jīng)可以搜索出剛剛推送的指標了

image

四.安裝Grafana展示

Grafana是用于可視化大型測量數(shù)據(jù)的開源程序，它提供了強大和優(yōu)雅的方式去創(chuàng)建、共享、瀏覽數(shù)據(jù)。
Dashboard中顯示了你不同metric數(shù)據(jù)源中的數(shù)據(jù)。
Grafana最常用于因特網(wǎng)基礎(chǔ)設(shè)施和應(yīng)用分析，但在其他領(lǐng)域也有用到，比如：工業(yè)傳感器、家庭自動化、過程控制等等。
Grafana支持熱插拔控制面板和可擴展的數(shù)據(jù)源，目前已經(jīng)支持Graphite、InfluxDB、OpenTSDB、Elasticsearch、Prometheus等。

我們使用docker安裝

docker run -d -p 3000:3000 --name grafana grafana/grafana

默認登錄賬戶和密碼都是admin，進入后界面如下

image

我們添加一個數(shù)據(jù)源

image

把Prometheus的地址填上

image

導入prometheus的模板

image

打開左上角選擇已經(jīng)導入的模板會看到已經(jīng)有各種圖

image

我們來添加一個自己的圖表

image

指定自己想看的指標和關(guān)鍵字，右上角保存

image

看到如下數(shù)據(jù)

image

到這里我們就已經(jīng)實現(xiàn)了數(shù)據(jù)的自動收集和展示，下面來說下prometheus如何自動報警

五.安裝AlterManager

Pormetheus的警告由獨立的兩部分組成。
Prometheus服務(wù)中的警告規(guī)則發(fā)送警告到Alertmanager。
然后這個Alertmanager管理這些警告。包括silencing, inhibition, aggregation，以及通過一些方法發(fā)送通知，例如：email，PagerDuty和HipChat。
建立警告和通知的主要步驟：

創(chuàng)建和配置Alertmanager
啟動Prometheus服務(wù)時，通過-alertmanager.url標志配置Alermanager地址，以便Prometheus服務(wù)能和Alertmanager建立連接。

創(chuàng)建和配置Alertmanager

mkdir -p /home/chenqionghe/promethues/alertmanager
cd !$

創(chuàng)建配置文件alertmanager.yml

global:
  resolve_timeout: 5m
route:
  group_by: ['cqh']
  group_wait: 10s #組報警等待時間
  group_interval: 10s #組報警間隔時間
  repeat_interval: 1m #重復報警間隔時間
  receiver: 'web.hook'
receivers:
  - name: 'web.hook'
    webhook_configs:
      - url: 'http://10.211.55.2:8888/open/test'
inhibit_rules:
  - source_match:
      severity: 'critical'
    target_match:
      severity: 'warning'
    equal: ['alertname', 'dev', 'instance']

這里配置成了web.hook的方式，當server通知alertmanager會自動調(diào)用webhook http://10.211.55.2:8888/open/test

下面運行altermanager

docker rm -f alertmanager
docker run -d -p 9093:9093 \
--name alertmanager \
-v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \
prom/alertmanager

訪問http://10.211.55.25:9093

image

接下來修改Server端配置報警規(guī)則和altermanager地址
修改規(guī)則/home/chenqionghe/promethues/server/rules.yml

groups:
  - name: cqh
    rules:
      - alert: cqh測試
        expr: dead_lift > 150
        for: 1m
        labels:
          status: warning
        annotations:
          summary: "{{$labels.instance}}:硬拉超標！lightweight baby!!!"
          description: "{{$labels.instance}}:硬拉超標！lightweight baby!!!"

這條規(guī)則的意思是，硬拉超過150公斤，持續(xù)一分鐘，就報警通知
然后再修改prometheus添加altermanager配置

global:
  scrape_interval:     15s # 默認抓取間隔, 15秒向目標抓取一次數(shù)據(jù)。
  external_labels:
    monitor: 'codelab-monitor'
rule_files:
  - /etc/prometheus/rules.yml
# 這里表示抓取對象的配置
scrape_configs:
  #這個配置是表示在這個配置內(nèi)的時間序例，每一條都會自動添加上這個{job_name:"prometheus"}的標簽  - job_name: 'prometheus'
  - job_name: 'prometheus'
    scrape_interval: 5s # 重寫了全局抓取間隔時間，由15秒重寫成5秒
    static_configs:
      - targets: ['localhost:9090']
      - targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']
        labels:
          group: 'client-golang'
      - targets: ['10.211.55.25:9100']
        labels:
          group: 'client-node-exporter'
      - targets: ['10.211.55.25:9091']
        labels:
          group: 'pushgateway'
alerting:
  alertmanagers:
    - static_configs:
        - targets: ["10.211.55.25:9093"]

重載prometheus配置，規(guī)則就已經(jīng)生效
接下來我們觀察grafana中數(shù)據(jù)的變化

image

然后我們點擊prometheus的Alert模塊，會看到已經(jīng)由綠->黃-紅，觸發(fā)了報警

image

然后我們再來看看提供的webhook接口，這里的接口我是用的golang寫的，接到數(shù)據(jù)后將body內(nèi)容報警到釘釘

image

釘釘收到報警內(nèi)容如下

image

到這里，從零開始搭建Prometheus實現(xiàn)自動監(jiān)控報警就說介紹完了，一條龍服務(wù)，自動抓取接口+自動報警+優(yōu)雅的圖表展示，你還在等什么，趕緊high起來！

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

從零搭建Prometheus監(jiān)控報警系統(tǒng)

從零搭建Prometheus監(jiān)控報警系統(tǒng)

什么是Prometheus?

Prometheus的特點

架構(gòu)圖

基本原理

服務(wù)過程

三大套件

本飛豬教程內(nèi)容簡介

安裝準備

一.安裝Prometheus Server

二.安裝客戶端提供metrics接口

1.通過golang客戶端提供metrics

2.通過node exporter提供metrics

三.安裝pushgateway

四.安裝Grafana展示

五.安裝AlterManager

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

從零搭建Prometheus監(jiān)控報警系統(tǒng)

什么是Prometheus?

Prometheus的特點

架構(gòu)圖

基本原理

服務(wù)過程

三大套件

本飛豬教程內(nèi)容簡介

安裝準備

一.安裝Prometheus Server

二.安裝客戶端提供metrics接口

1.通過golang客戶端提供metrics

2.通過node exporter提供metrics

三.安裝pushgateway

四.安裝Grafana展示

五.安裝AlterManager

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频