一、簡 介
Loki是受Prometheus啟發由Grafana Labs團隊開源的水平可擴展，高度可用的多租戶日志聚合系統。 開發語言: Google Go。它的設計具有很高的成本效益，并且易于操作。使用標簽來作為索引，而不是對全文進行檢索，也就是說，你通過這些標簽既可以查詢日志的內容也可以查詢到監控的數據簽，極大地降低了日志索引的存儲。系統架構十分簡單，由以下3個部分組成 ：
Loki 是主服務器，負責存儲日志和處理查詢 。
promtail 是代理，負責收集日志并將其發送給 loki 。
Grafana 用于 UI 展示。
只要在應用程序服務器上安裝promtail來收集日志然后發送給Loki存儲，就可以在Grafana UI界面通過添加Loki為數據源進行日志查詢（如果Loki服務器性能不夠，可以部署多個Loki進行存儲及查詢）。作為一個日志系統不光只有查詢分析日志的能力，還能對日志進行監控和報警。
Loki文檔網址：https://grafana.com/docs/loki/latest/
下載網址：https://github.com/grafana/loki/releases
二、原理分析
promtail收集并將日志發送給loki的 Distributor 組件
Distributor會對接收到的日志流進行正確性校驗，并將驗證后的日志分批并行發送到Ingester
Ingester 接受日志流并構建數據塊，壓縮后存放到所連接的存儲后端
Querier 收到HTTP查詢請求，并將請求發送至Ingester 用以獲取內存數據 ，Ingester 收到請求后返回符合條件的數據 ；
如果 Ingester 沒有返回數據，Querier 會從后端存儲加載數據并遍歷去重執行查詢 ，通過HTTP返回查詢結果
三、與 ELK 比 較優勢
ELK雖然功能豐富，但規模復雜，資源占用高，操作苦難，很多功能往往用不上，有點殺雞用牛刀的感覺。
loki 不對日志進行全文索引。通過存儲壓縮非結構化日志和索引元數據，Loki 操作起來會更簡單，更省成本。
通過使用與 Prometheus 相同的標簽記錄流對日志進行索引和分組，這使得日志的擴展和操作效率更高。
安裝部署簡單快速，且受 Grafana 原生支持。
四、下載(這個版本可用)
curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip"
curl -O -L "https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip"
wget https://dl.grafana.com/oss/release/grafana-7.1.0-1.x86_64.rpm
五、 安裝loki和grafana
先將loki-linux-amd64.zip和grafana-7.1.0-1.x86_64.rpm 上傳到日志服務器； 193
再將promtail-linux-amd64.zip 上傳到應用服務器 158-178
在日志服務器 上創建目錄
mkdir /data
mkdir /data/loki
mkdir /data/loki/{chunks,index}
mkdir /usr/local/loki
unzip loki-linux-amd64.zip
mv loki-linux-amd64 /usr/local/loki/
cd /usr/local/loki/
vim config.yaml
-------------------------
auth_enabled: false
server:
http_listen_port: 3100
ingester:
lifecycler:
address: 10.24.70.193
ring:
kvstore:
store: inmemory
replication_factor: 1
final_sleep: 0s
chunk_idle_period: 5m
chunk_retain_period: 30s
schema_config:
configs:
- from: 2021-07-01
store: boltdb
object_store: filesystem
schema: v11
index:
prefix: index_
period: 168h #每張表的時間范圍7天
storage_config:
boltdb:
directory: /data/loki/index #索引文件存儲地址
filesystem:
directory: /data/loki/chunks #塊存儲地址
limits_config:
enforce_metric_name: false
reject_old_samples: true
reject_old_samples_max_age: 168h
chunk_store_config:
# 最大可查詢歷史日期 28天,這個時間必須是schema_config中的period的倍數，否則報錯。
max_look_back_period: 672h
# 表的保留期28天
table_manager:
retention_deletes_enabled: true
retention_period: 672h
啟動loki
nohup ./loki-linux-amd64 -config.file=./config.yaml >./loki.log 2>&1 &
安裝grafana
rpm -ivh ./grafana-7.1.0-1.x86_64.rpm
報錯：
yum install fontconfig urw-fonts -y
安裝的版本：
fontconfig.x86_64 0:2.13.0-4.3.el7
urw-base35-fonts.noarch 0:20170801-10.el7
rpm -ivh ./grafana-7.1.0-1.x86_64.rpm
systemctl daemon-reload
systemctl enable grafana-server.service
systemctl start grafana-server.service
systemctl status grafana-server.service
在應用服務器安裝 promtail
應用服務器158,上傳promtail-linux-amd64.zip后解壓
mkdir /usr/local/promtail
unzip promtail-linux-amd64.zip
vim promtail.yaml
------------------------
server:
http_listen_port: 9080
grpc_listen_port: 0
positions:
filename: ./positions.yaml
clients:
- url: http://10.24.70.193:3100/loki/api/v1/push
scrape_configs:
#ucenter1
- job_name: ucenter1
static_configs:
- targets:
- 10.24.70.158
- labels:
job: ucenter1
host: 10.24.70.158
__path__: /usr/local/tomcat/logs/user-center/log_error.log
啟動
nohup ./promtail-linux-amd64 -config.file=./promtail.yaml > ./promtail.log 2>&1 &
最后在grafana上配置 默認賬號admin 密碼admin
http://172.26.189.214:3100
這個地址就是之前啟動loki的服務器地址，端口3100
{job="yszs1"}
和之前promtail.yaml配置文件中的 job: yszs1 對應。
#yszs
- job_name: yszs1
static_configs:
- targets:
- 8.142.0.103
- labels:
job: yszs1
host: 8.142.0.103
__path__: /var/shida/logs/ys/log_error.log
5 其他
再見笨重的ELK！這套輕量級日志收集方案要火！
https://mp.weixin.qq.com/s/lXm-Jm7ogCMtdeQBAOOO5g
