Elasticsearch表達式

使用腳本，可以在Elasticsearch中評估自定義表達式。
例如可以使用腳本來返回“腳本字段”作為搜索請求的一部分，或評估查詢的自定義分數。
“painless”為默認的腳本語言。painless、expression為Elasticsearch內置支持。
在Elasticsearch API中使用腳本都遵循相同的格式：

"script": {
    # 指定腳本表達式的語言
    "lang": "painless|expression|groovy|javascript|mustach|python|java",
    # 加載腳本的方式：source源碼，id已經存在的腳本，file存儲在文件中的腳本
    "source" | "id" | "file": ".....",
    "params": { ..... }
}

painless和expression是默認內置的腳本表達式。painless是默認的腳本語言。查詢示例：

curl -XGET localhost:9200/shakespeare/_search?pretty -d'
{
    "script_fields": {
       "my_field": {
          "script": {
             "lang": "painless",
             "source": "doc.line_id.value * params.value",
             "params": {
                 "value": 2
             }
          }
       }
   }
}'

已存儲的腳本

使用_scripts RestAPI將腳本存儲在集群中或者使用已經存儲在集群中的腳本。

創建存儲腳本

$ curl -XPOST localhost:9200/_scripts/my_score?pretty -d'
{
  "script": {
     "lang": "painless",
     "source": "doc.line_id.value * params.value"
  }
}'

$ curl -XGET localhost:9200/_scripts/my_score?pretty

$ curl -XGET localhost:9200/shakespeare/_search?pretty -d'
{
   "script_fields": {
      "my_field": {
         "script": {
            "id": "my_score",
            "params": {
           "value": 2
        }
         }
      }
   }
}'

刪除存儲腳本

$ curl -XDELETE localhost:9200/_scripts/calculate-score?pretty

• 默認情況下，所有腳本都是被緩存的，因此僅在更新時才需要重新編譯它們，它沒有過期時間。script.cache.expire
• 默認情況下，腳本沒有超時期限，但是可以使用 script.cache.expire 設置更改此行為
• 默認情況下，腳本緩存大小為100。可以使用 script.cache.max_size 設置配置此緩存的大小。

腳本引擎

ScriptEngine是用于實現腳本語言的后端。它也可以用于編寫需要使用腳本內部高級功能的腳本。例如，一個腳本希望在評分時使用詞頻。需要實現ScriptEngine，同時應實現ScriptPlugin接口并覆蓋getScriptEngine方法。

Elasticsearch插件

Elastic SQL插件

Elasticsearch SQL是一個X-Pack組件，它允許針對Elasticsearch實時執行類似SQL的查詢。無論使用REST接口，命令行還是JDBC，任何客戶端都可以使用SQ搜索或聚合數據。可以將Elasticsearch SQL看作是一種翻譯器，它可以將SQL解釋成Elasticsearch可以理解的查詢語言，并利用Elasticsearch完成大規模讀取和處理數據。

安裝插件

$ ./elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/5.6.16.0/elasticsearch-sql-5.6.16.0.zip

使用插件

6.2及以上版本，Elastic SQL被集成到X-Pack中。

$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/_sql -d'
{
   "query":"select * from shakespeare"
}'

6.2以下，Elastic SQL需要單獨安裝。

$ curl -XGET -u elastic:abcd_123 localhost:9200/_sql \
    -H'Content-Type：application/json' -d'select * from shakespeare'
    
$ curl -XGET -u elastic:abcd_123 localhost:9200/_sql/_explain \
    -H'Content-Type：application/json' -d'select * from shakespeare'

X-Pack插件

X-Pack是一個Elastic Stack擴展，將安全性，警報，監控，報告，機器學習和圖形功能捆綁到一個易于安裝的軟件包中。要使用X-Pack，必須在Elasticsearch中安裝與Elasticsearch版本相匹配的X-Pack。如果在群集上首次安裝X-Pack，則必須執行完整群集重新啟動。安裝X-Pack后，必須在群集中的所有節點上啟用安全性和安全性才能使群集正常運行。

在線安裝

$ ./elasticsearh-plugin install x-pack

離線安裝

# 下載離線安裝包
$ wget https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.6.16.zip

# 安裝離線安裝包
$ ./elasticsearh-plugin install file:///path/to/x-pack-5.6.16.zip

Elasticsearch，Kibana和Logstash的X-Pack插件包含在同一zip文件中。如果已經下載該文件，想在其他產品上安裝X-Pack，可以重復使用該文件。

配置插件

1. 安全設置

配置xpack.security可以進行啟用匿名訪問和執行查詢的身份驗證，設置文檔和字段級安全性，配置領域以及使用SSL加密通信等設置。

2.審核設置

3.監控設置

默認情況下，X-Pack監控被啟用，但是數據收集被禁用，高級監控設置使你能夠控制收集數據的頻率、配置超時以及為本地存儲的監控索引設置保留期，還可以調整監控數據的顯示方式。

使用插件

安裝X-Pack后，插件提供了三個默認賬戶：

• elastic/changeme
• kibana/changeme
• logstash/changeme

$ curl -XGET -u elastic:changeme localhost:9200/_xpack/license?pretty
$ curl -XGET -u kibana:changeme localhost:9200/_xpack/license?pretty
$ curl -XGET -u logstash_system:changeme localhost:9200/_xpack/license?pretty

用戶管理

# 創建用戶
$ curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi -d'
{
   "password": "abcd_123",
   "roles": ["admin", "other_role1"],
   "full_name": "yunxi",
   "email": "abcd_123@test.com"
}'

# 查看用戶 
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/user?pretty

# 禁用用戶
$ curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi/_disabled

# 啟用用戶
$ curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi/_enabled

# 刪除用戶
$ curl -XDELETE -u elastic:abcd_123 localhost:9200/_xpack/security/user/yunxi

• password 用戶密碼，最少6個字符。必填。
• roles 用戶所屬的一組角色。必填。
• full_name
• email
• metadata 用戶元數據。

角色管理

使用角色映射API，可以添加，刪除和檢索角色映射。要使用此API，必須至少擁有manage_security權限。

# 創建角色
$ curl -XPOST -u elastic:changeme localhost:9200/_xpack/security/role/my_role -d'
{
  "cluster": ["all"],
  "indices": [{
      "names": [ "news", "blog" ],
      "privileges": ["all"],
      "field_security" : {
        "grant" : [ "title", "body" ]
      },
      "query": "{\"match\": {\"title\": \"foo\"} }"
  }],
  "run_as": [ "other_user" ],
  "metadata" : { 
    "version" : 1
  }
}'
# 查看角色
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role?pretty
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role/my_role,ingest_admin?pretty
$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role?pretty

權限管理

has_privileges可以確定登錄的用戶具有的特權列表。所有用戶都可以使用此API，但只能查看自己的特權。

curl -XPOST -u elastic:abcd_123 localhost:9200/_xpack/security/role_mapping/administrator -d '
{
   "roles": ["user", "admin"],
   "enabled": true,
   "rules": {
      "field": { "username": ["admin01", "admin02"] }
   }
}'

$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role_mapping/administrator?pretty

$ curl -XGET -u elastic:abcd_123 localhost:9200/_xpack/security/role_mapping?pretty

集群權限

索引權限

字段和文檔級安全

可以通過向角色添加字段和文檔級別的安全權限來控制對索引內數據的訪問。字段級別的安全權限將限制對文檔中特定字段的訪問。文檔級安全權限限制了對索引中特定文檔的訪問。角色可以基于每個索引的字段和文檔級別設定權限，未指定字段級別權限的角色將授予對所有字段的訪問權限。同樣，不指定文檔級別權限的角色將授予對索引中所有文檔的訪問權限。

"indices": [{
      "names": [ "news-*" ],
      "privileges": [ "read" ],
      "field_security" : {
        "grant" : [ "title", "@timestamp", "body" ]
      }
  }]

"indices": [{
      "names": [ "*" ],
      "privileges": [ "read" ],
      "field_security" : {
        "grant" : [ "title-*" ]
      }
  }]
  
  
  "indices": [{
      "names": [ "*" ],
      "privileges": [ "read" ],
      "field_security" : {
        "grant" : [ "*" ]，
        "except": [ "news.*" ]
      }
  }]