序
本系列主要介紹prometheus+cadvisor+alertmanager打造docker監控，主要監控指定docker容器是否掛掉
本節主要熟悉prometheus+cadvisor+alertmanager實現docker監控，以監控docker容器grafana是否掛掉作為例子
一、服務器安裝cadvisor，監控docker，如果服務器沒有安裝grafana的docker鏡像也一并安裝一下，我們今天就是來監控這個grafana是否掛掉
grafana 鏡像安裝
docker run -d \
-p 3000:3000 \
--restart=always \
--name=grafana \
-e "GF_SECURITY_ADMIN_PASSWORD=admin" \
-e "GF_INSTALL_PLUGINS=grafana-clock-panel,grafana-simple-json-datasource,raintank-worldping-app,grafana-piechart-panel" \
grafana/grafana
cadvisor 鏡像安裝
sudo docker run \
--volume=/:/rootfs:ro \
--volume=/var/run:/var/run:rw \
--volume=/sys:/sys:ro \
--volume=/var/lib/docker/:/var/lib/docker:ro \
--publish=8090:8080 \
--detach=true \
--name=cadvisor \
google/cadvisor:latest
其中8090是映射到外部的端口，需要服務器開放這個端口外部才可以訪問
查看監控到的docker的相關信息
二、配置prometheus監控cadvisor
- job_name: 'aliyun-cadvisor'
scrape_interval: 5s
static_configs:
- targets: ['ip:8090']
targets中的ip換成你服務器的ip
三、配置prometheus.rules.yml監控grafana是否掛掉
- name: DockerInstance
rules:
- alert: DockerInstanceDown
expr: rate(container_last_seen{name="xservicesswagger_swagger_1"}[1m]) < 0.5
for: 5s
labels:
severity: page
# Prometheus templates apply here in the annotation and label fields of the alert.
annotations:
description: '{{ $labels.instance }} of job {{ $labels.job }} has been down for more than 5 s.'
summary: 'Instance {{ $labels.instance }} down'
expr:rate(container_last_seen{name="xservicesswagger_swagger_1"}[1m]) < 0.5 這行函數表示給定的容器不存在則報警
打開http://localhost:9090/rules可以查看配置的規則，點擊超鏈接可以查看配置的規則是否正確
image.png
image.png
如果value結果為1，說明觸發了規則，如果沒有說明規則還沒有被觸發
把規則文件加入prometheus.yml
rule_files:
- 'prometheus.rules.yml'
四、配置alertmanager.yml，設置webhook為告警處理方式，即告警觸發一個接口調用
global:
resolve_timeout: 5m
route:
group_by: ['alertname']
group_wait: 5s
group_interval: 5s
repeat_interval: 5s
receiver: 'web.hook'
receivers:
- name: 'web.hook'
webhook_configs:
- url: 'http://localhost:5200/auth/alter'
repeat_interval 表示重復間隔，這里配置5s，即如果觸發報警規則每隔5s報警一次
五、配置完之后我們實驗一下，在服務器把grafana鏡像rm掉，看下是否觸發了alert，alert是否觸發了接口調用
訪問http://localhost:9090/alerts查看alert是否被觸發
image.png
如果active的數量大于0則說明有規則被觸發了，點開了可以查看
image.png
本系列到此就結束了，謝謝大家！
