前言

使用Nginx的網站可能會遇到訪問流量異常、被友情檢測、程序出現Bug等各種突然情況，這時大家的反應想必都是第一時間分析日志，然后發現日志有幾十GB之多，又需要按照時間、錯誤類型或者關鍵字段檢索信息時會不會有種醍醐灌頂、菊花一緊的錯覺。文中介紹的方法不管是GoAccess還是sed/awk雖然可以解決一時的問題但未必能夠治本，也許ELK(Logstash+ElasticSearch+Kibana)對我們大多數人來說是更合理的集中化日志管理解決方案。

日志固然重要，但努力建設適合業務發展的集中化日志管理平臺才是基礎核心

更新歷史

2015年07月16日 - 初稿

閱讀原文 - http://wsgzao.github.io/post/goaccess/

擴展閱讀

GoAccess - http://goaccess.io/
用GoAccess分析Nginx的日志 - http://www.fancycoding.com/log-analyse-using-goaccess/
sed 簡明教程 - http://coolshell.cn/articles/9104.html
AWK 簡明教程 - http://coolshell.cn/articles/9070.html

安裝GoAccess

各平臺都有灰常簡單的部署方案 - http://goaccess.io/download

wget http://tar.goaccess.io/goaccess-0.9.2.tar.gz
tar -xzvf goaccess-0.9.2.tar.gz
cd goaccess-0.9.2/
./configure --enable-utf8
make
make install

使用方式

更多常見問題請參考官方FAQ - http://goaccess.io/faq

#直接打開
goaccess -f access.log

#選擇日志格式
NCSA Combined Log Format

#剩下的操作都蠻簡單的，參考擴展閱讀和官方文檔吧

#導出HTML報告會遇到的問題
goaccess -f time_access.log -a > report.html

GoAccess - version 0.9.2 - Jul 15 2015 16:23:20
Config file: /usr/local/etc/goaccess.conf

Fatal error has occurred
Error occured at: src/parser.c - verify_formats - 1691
No time format was found on your conf file.

#添加配置文件
vi ~/.goaccessrc

time-format %T
date-format %d/%b/%Y
log-format %h %^[%d:%t %^] "%r" %s %b "%R" "%u"

#重新指定配置文件后執行
goaccess -f time_access.log -p ~/.goaccessrc -a > report.html

使用bash/sed/awk手動查找Nginx日志

更多技巧可以參考擴展閱讀，Python的處理效率或者更優

#按日期查找時間段
sed -n "/14\/Jul\/2015:00:00:00/,/15\/Jul\/2015:15:00:00/"p access.log > time_access.log

#查找504錯誤的頁面和數量
awk '($9 ~ /504/)' time_access.log | awk '{print $7}' | sort | uniq -c | sort -rn > 504.log

#查找訪問最多的20個IP及訪問次數
awk '{print $1}' time_access.log | sort | uniq -c | sort -n -k 1 -r | head -n 20 > top.log