搜索引擎是什么?

搜索引擎是指根據一定的策略、運用特定的計算機程序從互聯網上搜集信息，在對信息進行組織和處理后，為用戶提供檢索服務，將用戶檢索相關的信息展示給用戶的系統。搜索引擎包括全文索引、目錄索引、元搜索引擎、垂直搜索引擎、集合式搜索引擎、門戶搜索引擎與免費鏈接列表等。

Elasticsearch是什么?

Elasticsearch一個高可擴展的開源的全文本搜索和分析工具。它允許你以近實時的方式快速存儲、搜索、分析大容量的數據。Elasticsearch不僅提供全文檢索功能，還能提供高效的分布式數據存儲、索引、搜索，能完成對大數據的自動分片、自動負載索引，并提供Restful Web的風格接口。

Elasticsearch是面向文檔型的NoSQL數據庫，可以在其中進行索引、搜索、排序和過濾這些文檔。它是實時分析的分布式搜索引擎，可以擴展到上百臺服務器，處理PB級的結構化或非結構化數據。

也支持中文分詞插件，Hadoop等插件。可以通過Http訪問，使用Json來操作數據。其索引能分拆為多個分片，每個分片可有多個副本，集群的負載都是自動完成的。

ES基礎架構

ElasticSearch vs Solr 總結

（1）二者安裝都很簡單。

（2）Solr 利用 Zookeeper 進行分布式管理，而 Elasticsearch 自身帶有分布式協調管理功能。

（3）Solr 支持更多格式的數據，比如JSON、XML、CSV，而 Elasticsearch 僅支持json文件格式。

（4）Solr 官方提供的功能更多，而 Elasticsearch 本身更注重于核心功能，高級功能多有第三方插件提供

（5）Solr 在傳統的搜索應用中表現好于 Elasticsearch，但在處理實時搜索應用時效率明顯低于 Elasticsearch。

（6）Solr 是傳統搜索應用的有力解決方案，但 Elasticsearch 更適用于新興的實時搜索應用。

三臺機器做集群：192.168.80.30、192.168.80.32、192.168.80.33

環境

CentOS7.0

Java1.8

下載

下載地址：https://www.elastic.co/products/elasticsearch

下載后上傳到CentOS中的/usr/local/ 文件夾中，并解壓到當前文件中重命名為elasticsearch530 ??/usr/local/elasticsearch530

tar -zxvf elasticsearch-5.3.0.tar.gz

創建 elsearch運行賬戶和組

groupadd elsearch#添加elsearch組

useradd -g elsearch elsearch -s /bin/false

更改elasticsearch文件夾及內部文件的所屬用戶及組為elsearch:elsearch

chown -R elsearch:elsearch elasticsearch530

配置參數

（1）?初步修改

打開/usr/local/elasticsearch530/config目錄下的elasticsearch.yml?文件 ,修改以下屬性值并取消該行的注釋：

cluster.name: es-application#這是集群名字，我們 起名為 es-application。es啟動后會將具有相同集群名字的節點放到一個集群下。

node.name:"es-node1"#節點名字。

covery.zen.minimum_master_nodes: 1#指定集群中的節點中有幾個有master資格的節點。對于大集群可以寫3個以上。

discovery.zen.ping.timeout: 40s#默認是3s，這是設置集群中自動發現其它節點時ping連接超時時間，為避免因為網絡差而導致啟動報錯，我設成了40s。

discovery.zen.ping.multicast.enabled: false#設置是否打開多播發現節點，默認是true。

network.host: 0.0.0.0

http.port:9200

node.master: true#節點從可作為選舉為主節點

node.data: true#也用來存儲數據,可作為負載器

discovery.zen.ping.unicast.hosts: ["192.168.80.32","192.168.80.33","192.168.80.30"]#discovery.zen.ping.unicast.hosts:["節點1的 ip","節點2 的ip","節點3的ip"] 指明集群中其它可能為master的節點ip,以防es啟動后發現不了集群中的其他節點。第一對引號里是node1，默認端口是9300。第二個是 node2 ，在另外一臺機器上。

（2）?進一步修改

將elasticsearch530文件夾copy到另外一臺IP為192.168.80.33、192.168.80.30的機器上。

修改各主機上的改配置文件elasticsearch.yml?文件修改如下：

node.name:"es-node2"和 node.name:"es-node3"

注意：

1.對于單機多節點的es集群，一定要注意修改?transport.tcp.port?和http.port?的默認值保證節點間不沖突。

2. 出現找不到同一集群中的其他節點的情況，檢查下?discovery.zen.ping.unicast.hosts?是否已設置。

啟動

復制elasticsearch文件夾時，如果原來的es文件夾下存在node數據，那么es集群也不能正常啟動，所以若之前在elasticsearch530文件夾下有data文件夾，則清空node2和node3節點服務下的data文件夾，否則會報節點加入不了集群的錯。

切換到elsearch用戶再啟動，3臺服務器都要進行啟動

su elsearch

cd/usr/local/elasticsearch530 目錄

bin/elasticsearch -d#后臺運行

此時啟動服務會發現報錯：max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

[root@H32 ~]#cat /etc/sysctl.conf | grep -v "vm.max_map_count" > /tmp/system_sysctl.conf

[root@H32 ~]#echo "vm.max_map_count=262144" >> /tmp/system_sysctl.conf

[root@H32 ~]#mv /tmp/system_sysctl.conf /etc/sysctl.confmv：是否覆蓋"/etc/sysctl.conf"？ y

[root@H32~]#cat /etc/sysctl.conf

#System default settings live in /usr/lib/sysctl.d/00-system.conf.#To override those settings, enter new settings here, or in an /etc/sysctl.d/.conf file#

#For more information, see sysctl.conf(5) and sysctl.d(5).vm.max_map_count=262144

[root@H32~]#sysctl -pvm.max_map_count = 262144

修改后再次啟動，可通過下命令查看啟動后是否有進程

ps -ef |grep elasticsearch

ES的安裝就此完成，接下來安裝Head插件來監控Elasticsearch

Elasticsearch Head插件

Elasticsearch Head Plugin:?對ES進行各種操作，如查詢、刪除、瀏覽索引等，可對集群健康狀況，各個節點狀態，索引狀態查看。

5.X版本的ES跟之前的版本最大的不同之處就是多了很多環境的校驗，比如jdk,max-files等等。

設置內核參數

vi /etc/sysctl.conf # 增加下面的內容

fs.file-max=65536vm.max_map_count=262144

設置資源參數

vi /etc/security/limits.conf # 修改

elsearch soft nofile 65536

elsearch hard nofile65536

sysctl-p

修改/config/elasticsearch.yml

#增加新的參數，這樣head插件可以訪問es

http.cors.enabled: true

http.cors.allow-origin:"*"

注意，設置參數的時候:后面要有空格！

在5.X版本中不支持直接安裝head插件，需要啟動一個服務

git clone git://github.com/mobz/elasticsearch-head.git

下載 elasticsearch-head 或者git clone到?/usr/local/elasticsearch-head

cd elasticsearch-head

npm install

由于head插件本質上還是一個nodejs的工程，因此需要安裝node，使用npm來安裝依賴的包。（npm可以理解為maven）

去官網下載nodejs，https://nodejs.org/en/download/

下載下來的jar包是xz格式的，一般的linux可能不識別，還需要安裝xz.

yum -y install xz

然后解壓nodejs的安裝包:

xz -d node*.tar.xz tar -xvf node*.tar

解壓完node的安裝文件后，需要配置下環境變量,編輯/etc/profile，添加

#set node environment

export NODE_HOME=/usr/local/node790

export PATH=$PATH:$NODE_HOME/bin

別忘記立即執行以下

source /etc/profile

這個時候可以測試一下node是否生效：

[root@H32 node790]#echo $NODE_HOME

/usr/local/node790

[root@H32 node790]#node -v

[root@H32 node790]#npm -v

安裝grunt

grunt是一個很方便的構建工具，可以進行打包壓縮、測試、執行等等的工作，5.X里的head插件就是通過grunt啟動的。因此需要安裝一下grunt：

linux：npm install grunt-cli

windows：npm install grunt-cli -g

在elasticsearch-head目錄下node_modules/grunt下如果沒有grunt二進制程序，需要執行

cd elasticsearch-head

npm install grunt-cli

npm install grunt--save-dev

安裝完成后檢查一下：

[root@H32 elasticsearch-head]#grunt -version

grunt-cli v1.2.0

grunt v1.0.1

啟動服務

/usr/local/elasticsearch-head/node_modules/grunt/bin/gruntserver

修改head源碼

由于head的代碼還是2.6版本的，直接執行有很多限制，比如無法跨機器訪問。因此需要用戶修改兩個地方：

修改服務器監聽地址

目錄：elasticsearch-head/Gruntfile.js

connect: { server: { options: { port: 9100, hostname:'*', base:'.', keepalive: true } } }

增加hostname屬性，設置為*

修改連接地址：

目錄：elasticsearch-head/_site/app.js

修改head的連接地址:

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://localhost:9200";

把localhost修改成你es的服務器地址，如:

this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") ||"http://192.168.80.32:9200";

運行head

首先啟動每個服務器上的?ES。

再啟動grunt

cd /usr/local/elasticsearch-head

grunt server-d

訪問:target:9100

這個時候，訪問http://192.168.80.32:9100就可以訪問head插件了。

現在可以在此頁面操作ES數據了，但這只是一個開始。