前言

在第九章節中，我們已經安裝好Logstash組件了，并且啟動實例測試它的數據輸入和輸出，但是用的是最簡單的控制臺標準輸入和標準輸出，那這節我們就來深入的學習Logstash的詳細使用。

常用啟動參數

我們在上一節中演示了啟動Logstash的實例，其中我們啟動的時候給Logstash腳本傳入了-e的參數，但實際上，Logstash的啟動參數有很多，我們來看一下各個啟動參數的作用：

• -e #立即啟動實例，例如：./logstash -e "input {stdin {}} output {stdout {}}"
• -f #指定啟動實例的配置文件，例如：./logstash -f config/test.conf
• -t #測試配置文件的正確性，例如：./logstash -f config/test.conf -t
• -l #指定日志文件名稱，例如：./logstash -f config/test.conf -l logs/test.log
• -w #指定filter線程數量，不指定默認是5，例如：./logstash-f config/test.conf -w 8

配置文件語法

文件結構

我們剛剛知道，啟動參數可以指定一個配置文件，那么接下來就有必要來了解一下配置文件的結構：
Logstash通過{}來定義區域，區域內可以定義插件，一個區域內可以定義多個插件，如下：

input {
    #標準輸入源插件
    stdin {
    }
    #普通文件源插件
    file {
        path => ["/var/log/*.log", "/var/log/message"]
       ....
    }
   ......
}
filter {
      #grok過濾插件
      grok {
            match => ["message", "%{HTTPDATE:logdate}"]
            .....
      }
     #date過濾插件
     date {
            match => ["logdate", "dd/MMM/yyyy:HH:mm:ss Z"]
           .....
    }
   .....
}
output {
     stdout {
     }
     elasticsearch {
        hosts => ["127.0.0.1:9200"]
        ....
    }
    .....
}

我們先大概了解一下配置文件的結構，接下來我們再詳細看這些插件的配置。

數據類型

Logstash配置文件支持的數據類型有：
1、Boolean，例如：ssl_enable => true
2、Number，例如：port => 33
3、String，例如：name => “Hello world”
4、hash，例如：options => {key1 => "value1", key2 => "value2"}
5、array，例如：match => ["datetime", "UNIX", "ISO8601"]

字段引用

Logstash數據流中的數據被稱之為Event對象，Event以JSON結構構成，Event的屬性被稱之為字段，如果你想在配置文件中引用這些字段，只需要把字段的名字寫在中括號[]里就行了，如[type]，對于嵌套字段每層字段名稱都寫在[]里就可以了，比如：[tags][type]；除此之外，對于Logstash的arrag類型支持下標與倒序下表，如：[tags][type][0]和[tags][type][-1]
以下的內容就是一個Event對象：

{
      "message" => "hello logstash",
      "@version" => "1",
      "@timestamp" => 2018-08-13T17:32:01.122Z,
      "host" => "localhost.localdomain"
}

條件判斷

Logstash支持下面的操作符：
1、==(等于), !=(不等于), <(小于), >(大于), <=(小于等于), >=(大于等于)
2、=~(匹配正則), !~（不匹配正則）
3、in(包含), not in(不包含)
4、and(與), or(或), nand(非與), xor(非或)
5、()(復合表達式), !()(對復合表達式結果取反)
例如以下的條件判斷：

if "_grokparsefailure" not in [tags] {
} 
else if [status] !~ /^2\d\d/ or ( [url] == "/noc.gif" nand [geoip][city] != "beijing" ) {
} 
else {
}

環境變量引用

Logstash支持引用系統環境變量，環境變量不存在時可以設置默認值，例如：

export TCP_PORT=12345
input {
  tcp {
    port => "${TCP_PORT:54321}"
  }
}

常用輸入插件

在第九章中，我們已經使用是標準輸入，以鍵盤的輸入數據作為Logstash數據源，但實際上我們也知道，Logstash的數據源有很多，每種數據源都有相應的配置，在Logstash中，這些數據源的相應配置稱為插件，我們常用的輸入插件有：file、jdbc、redis、tcp、syslog，這些輸入插件會監聽數據源的數據，如果新增數據，將數據封裝成Event進程處理或者傳遞，更多的輸入插件大家可以看Logstash官網，接下來我們以file和jdbc兩個輸入插件作為例子，來學習輸入插件的使用，其他輸入插件使用起來大同小異，大家自行擴展。

file輸入插件

讀取文件插件主要用來抓取文件的數據變化信息，以此作為Logstash的數據源。

• 配置示例：

input{
  file {
    path => ["/var/log/*.log", "/var/log/message"]
    type => "system"
    start_position => "beginning"
  }
}
output{
  stdout{}
}

• 常用參數

jdbc輸入插件

該插件可以使用jdbc把關系型數據庫的數據作為Logstash的數據源

• 配置示例：

input {
  jdbc {
    jdbc_driver_library => "/opt/logstash/mysql-connector-java-5.1.36-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/mydb"
    jdbc_user => "mysql"
    jdbc_password => "123456"
    parameters => { "favorite_artist" => "Beethoven" }
    schedule => "* * * * *"
    statement => "SELECT * from songs where artist = :favorite_artist"
  }
}
output{
  stdout{}
}

• 常用參數(空 = 同上)

常用過濾插件

豐富的過濾器插件的是 logstash威力如此強大的重要因素，過濾器插件主要處理流經當前Logstash的事件信息，可以添加字段、移除字段、轉換字段類型，通過正則表達式切分數據等，也可以根據條件判斷來進行不同的數據處理方式。我們常用的過濾插件有：grok、date、geoip、mutate、json、Split、ruby，更多的過濾插件大家可以看Logstash官網，接下來我們以grok、date和geoip這3個過濾插件作為例子，來學習過濾插件的使用，其他過濾插件使用起來大同小異，大家自行擴展。

grok正則插件

grok正則捕獲是Logstash中將非結構化數據解析成結構化數據以便于查詢的最好工具，非常適合解析system log，web log， database log等任意的 log文件。

• 內置正則表達式調用
  grok提供100多個常用正則表達式可供使用，這100多個正則表達式定義在logstash/vendor/bundle/jruby/x.x/gems/logstash-patterns-core-xxx/patterns/grok-patterns文件中，想要靈活的匹配各種數據，那么必須查看該文件，大概了解grok提供了什么內置的正則表達式。調用它們的語法如下：%{SYNTAX:SEMANTIC}
  SYNTAX：表示內置的正則表達式的名稱
  SEMANTIC：表示在Event中創建該字段名來存儲匹配到的值
  例如：輸入的數據內容為“[debug] 127.0.0.1 - test log content”，我們想提取127.0.0.1這個IP地址，那么可以使用以下語法來匹配：%{IP:client}，將獲得“client: 127.0.0.1”的結果，該結果將成為Event的一個新的字段和字段值；如果你在捕獲數據時想進行數據類型轉換可以使用%{NUMBER:num:int}這種語法，默認情況下，所有的返回結果都是string類型，當前Logstash所支持的轉換類型僅有“int”和“float”；

• 自定義表達式調用
  與預定義表達式相同，你也可以將自定義的表達式配置到Logstash中，然后就可以像于定義的表達式一樣使用；以下是操作步驟說明：
  1、在Logstash根目錄下創建文件夾“patterns”，在“patterns”文件夾中創建文件“extra”（文件名稱無所謂，可自己選擇有意義的文件名稱）；
  2、在文件“extra”中添加表達式，格式：patternName regexp，名稱與表達式之間用空格隔開即可，例如：POSTFIX_QUEUEID [0-9A-F]{10,11}
  3、使用自定義的表達式時需要在grok插件配置“patterns_dir”屬性，屬性值為extra文件所在的目錄。

• 配置示例
  日志文件http.log每行內容為：55.3.244.1 GET /index.html 15824 0.043 message-id:BEF25A72965
  grok表達式：表達式：%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}
  配置文件內容：

input {
  file {
    path => "/var/log/http.log"
  }
}
filter {
  grok {
    patterns_dir => ["./patterns"]
    match => {"message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration} message\-id:%{POSTFIX_QUEUEID:queueid}"}
  }
}
output{
    stdout{}
}

輸出結果：

client: 55.3.244.1
method: GET
request: /index.html
bytes: 15824
duration: 0.043
queueid: BEF25A72965

• 示例解析
  1、/var/log/http.log文件每一行的格式為55.3.244.1 GET /index.html 15824 0.043 message-id:BEF25A72965，到時候會把每一行數據封裝成一個Event。
  2、使用grok過濾插件處理該文件，match為匹配Event中的message，message就是該文件的一行數據，比如55.3.244.1 GET /index.html 15824 0.043 message-id:BEF25A72965。
  3、匹配message的內容使用%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration} message\-id:%{POSTFIX_QUEUEID:queueid}表達式，把一條message拆成client、method、request、bytes、duration、queueid這6個字段，并添加到Event中。
  4、其中%{POSTFIX_QUEUEID:queueid}為自定義表達式的調用，其他5個是grok內置的表達式調用，如果需要使用自定義表達式，則需要在grok插件配置patterns_dir屬性，屬性值數據類型為array，就是自定義表達式定義的文件所在的目錄。
  5、在表達式中，特殊字符需要使用\來轉義，比如-，""，[]這些特殊字符，所以我們上面實例中的message-id數據在用表達式匹配的時候是使用了message\-id去匹配了。
• 常用參數(空 = 同上)

date時間處理插件

在講date插件的使用前，我們需要先講解一下Logstash的時間記錄方式。在Logstash產生了一個Event對象的時候，會給該Event設置一個時間，字段為“@timestamp”，同時，我們的日志內容一般也會有時間，但是這兩個時間是不一樣的，因為日志內容的時間是該日志打印出來的時間，而“@timestamp”字段的時間是input插件接收到了一條數據并創建Event的時間，所有一般來說的話“@timestamp”的時間要比日志內容的時間晚一點，因為Logstash監控數據變化，數據輸入，創建Event導致的時間延遲。這兩個時間都可以使用，具體要根據自己的需求來定。
但是不管“@timestamp”字段的時間還是日志內容中的時間，其時間格式一般都不是我們想要的，所以我們就需要使用date插件，把時間格式轉成我們想要的格式，比如：比如將Apr 17 09:32:01（MMM dd HH:mm:ss）轉換為04-17 09:32:01 （MM-dd HH:mm:ss）。

• 配置示例：

filter {
    date {
        match => ["timestamp","dd/MMM/YYYY:HH:mm:ss Z"]
    } 
}

• 示例解析
  timestamp是自定義的Event字段，用于存放通過grok解析到的日志內容中的時間，dd/MMM/YYYY:HH:mm:ss Z是日志內容中的時間格式，比如：16/Sep/2018:00:42:38 +0800，匹配到了之后，date插件會默認把該時間轉成本地格式的時間，并且覆蓋掉Event為我們創建的@timestamp字段中的時間。
• 常用參數(空 = 同上)

geoip插件

geoip插件是用于根據IP地址來確定該IP的歸屬地，默認的數據來源于Maxmind公司GeoLite2（https://dev.maxmind.com/geoip/geoip2/geolite2/）數據庫，該數據庫內嵌在geoip插件中，存儲位置為：logstash/vendor/bundle/jruby/x.x/gems/logstash-filter-geoip-x.x-java/vendor目錄中，數據庫文件名分別為GeoLite2-City.mmdb和GeoLite2-ASN.mmdb。
從Maxmind的描述 ----“GeoLite2數據庫是免費的IP地理位置數據庫，可與MaxMind收費的GeoIP2數據庫相媲美，但沒有GeoIP2準確”。 有關更多詳細信息，請參閱GeoIP Lite2許可證。
Maxmind的商業數據庫GeoIP2（https://www.maxmind.com/en/geoip2-databases）也支持geoip插件。簡單來說就是兩個數據庫一個免費的一個商業的，免費的不如商業的地理位置精準。
如果您需要使用內嵌的GeoLite2以外的數據庫，則可以直接從Maxmind網站下載數據庫，并使用數據庫選項指定其位置（下面會講到如果使用數據選項）。

• 配置示例：

filter {
     if [remote_ip] !~ "^127\.|^192\.168\.|^172\.1[6-9]\.|^172\.2[0-9]\.|^172\.3[01]\.|^10\." {
        geoip {
             source => "remote_ip"
             database => "/usr/share/GeoIP/GeoLite2-Country.mmdb"
        }
    }
}

• 示例解析
  由于geoip使用的ip數據庫不能匹配私網地址，所以在使用geoip插件前，先判斷一下ip地址是否為私網ip，如果不是，這使用geoip插件。source為指定一個ip地址，為其查詢歸屬地等信息，remote_ip為Event中存儲ip地址的自定義字段，database為IP地址數據庫所在的位置，不指定的話，使用geoip插件內置的GeoLite2-City默認數據庫。
• 常用參數(空 = 同上)

常用輸出插件

經過以上的學習，我們已經學習了Logstash三大主件中的其中兩個了，分別是input和filter，那現在我們就來學習最后一個組件：output。
每個數據流經過input和filter后，最終要由output輸出，以上的內容我們都是使用最簡單的標準輸出：stdout，把數據輸出到顯示器，但實際上stdout只是Logstash的其中一個輸出插件而已，它的常用輸出插件有：Elasticsearch，Redis，File，TCP等等，更多的輸出插件大家可以看Logstash官網，接下來我們以Elasticsearch和Redis輸出插件作為例子，來學習輸出插件的使用，其他過濾插件使用起來大同小異，大家自行擴展。

elasticsearch輸出插件

用于將Event信息寫入到Elasticsearch中，官方推薦插件，ELK技術棧必備插件。

• 配置示例

output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        document_type => "%{type}"
    }
}

• 常用參數(空 = 同上)

redis輸出插件

用于將Event寫入Redis中進行緩存，由于Redis數據庫是先把數據存在內存的，所以效率會非常高，是一個常用的logstash輸出插件

• 配置示例

output {
    redis {
        host => ["127.0.0.1"]
        port => 6379
        data_type => "list"
        key => "logstash-list"
    }
}

• 常用參數(空 = 同上)

后記

那到這里，我們已經介紹了Logstash配置文件的語法和常用插件的配置方式了，這些常用的插件都是使用頻率非常高的，所有我們后面需要來做一個Logstash的實戰案例，綜合運用我們這章所學的內容。