分布式搜索引擎ElasticSearch

今天學(xué)習(xí)這個(gè)東西Elasticsearch

Elasticsearch是一個(gè)搜索引擎,建立在Lucene之上,Lucene是一個(gè)全文搜索引擎庫,最先進(jìn)的,豐富特點(diǎn)的搜索引擎

庫。

Lucene只是一個(gè)庫,要駕馭它,你需要用java集成Lucene,

更糟糕的是,你需要了解信息搜索如何工作的,Lucene很復(fù)雜。

(PS:不懂Lucene,只會(huì)用還不是盲人一個(gè)么)

Elasticsearch使用Lucene,提供全文搜索,隱藏Lucene的復(fù)雜性。

Elasticsearch同時(shí)也是一個(gè):

分布式,實(shí)時(shí)文檔存儲(chǔ),每個(gè)域都被索引,可以被搜素。

一個(gè)分布式的搜索引擎,可以實(shí)時(shí)分析。

可以擴(kuò)展到數(shù)百臺(tái)服務(wù)器,巨大的數(shù)據(jù)。集成在一個(gè)獨(dú)立的服務(wù)器,你可以通過REST風(fēng)格的API來訪問。

很容易上手,對(duì)新手隱藏了復(fù)雜的搜索理論,你很快就掌握它。


ElasticSearch的一些概念:

集群 (cluster)

在一個(gè)分布式系統(tǒng)里面,可以通過多個(gè)elasticsearch運(yùn)行實(shí)例組成一個(gè)集群,這個(gè)集群里面有一個(gè)節(jié)點(diǎn)叫做主節(jié)點(diǎn)(master),elasticsearch是去中心化的,所以這里的主節(jié)點(diǎn)是動(dòng)態(tài)選舉出來的,不存在單點(diǎn)故障。

在同一個(gè)子網(wǎng)內(nèi),只需要在每個(gè)節(jié)點(diǎn)上設(shè)置相同的集群名,elasticsearch就會(huì)自動(dòng)的把這些集群名相同的節(jié)點(diǎn)組成一個(gè)集群。節(jié)點(diǎn)和節(jié)點(diǎn)之間通訊以及節(jié)點(diǎn)之間的數(shù)據(jù)分配和平衡全部由elasticsearch自動(dòng)管理。

在外部看來elasticsearch就是一個(gè)整體。

節(jié)點(diǎn)(node)

每一個(gè)運(yùn)行實(shí)例稱為一個(gè)節(jié)點(diǎn),每一個(gè)運(yùn)行實(shí)例既可以在同一機(jī)器上,也可以在不同的機(jī)器上.所謂運(yùn)行實(shí)例,就是一個(gè)服務(wù)器進(jìn)程.在測(cè)試環(huán)境內(nèi),可以在一臺(tái)服務(wù)器上運(yùn)行多個(gè)服務(wù)器進(jìn)程,在生產(chǎn)環(huán)境建議每臺(tái)服務(wù)器運(yùn)行一個(gè)服務(wù)器進(jìn)程

索引(index)

這里的索引是名詞不是動(dòng)詞,在elasticsearch里面支持多個(gè)索引。類似于關(guān)系數(shù)據(jù)庫里面每一個(gè)服務(wù)器可以支持多個(gè)數(shù)據(jù)庫一樣。在每一索引下面又支持多種類型,類似于關(guān)系數(shù)據(jù)庫里面的一個(gè)數(shù)據(jù)庫可以有多張表。但是本質(zhì)上和關(guān)系數(shù)據(jù)庫有很大的區(qū)別。這里暫時(shí)可以這么理解

分片(shards)

把一個(gè)索引分解為多個(gè)小的索引,每一個(gè)小的索引叫做分片。分片后就可以把各個(gè)分片分配到不同的節(jié)點(diǎn)中

副本(replicas)

每一個(gè)分片可以有0到多個(gè)副本,每個(gè)副本都是分片的完整拷貝,可以用來增加速度,同時(shí)也可以提高系統(tǒng)的容錯(cuò)性,一旦某個(gè)節(jié)點(diǎn)數(shù)據(jù)損壞,其他節(jié)點(diǎn)可以代替他.

介紹下es的幾個(gè)概念:

cluster

代表一個(gè)集群,集群中有多個(gè)節(jié)點(diǎn),其中有一個(gè)為主節(jié)點(diǎn),這個(gè)主節(jié)點(diǎn)是可以通過選舉產(chǎn)生的,主從節(jié)點(diǎn)是對(duì)于集群內(nèi)部來說的。es的一個(gè)概念就是去中心化,字面上理解就是無中心節(jié)點(diǎn),這是對(duì)于集群外部來說的,因?yàn)閺耐獠縼砜磂s集群,在邏輯上是個(gè)整體,你與任何一個(gè)節(jié)點(diǎn)的通信和與整個(gè)es集群通信是等價(jià)的。

shards

代表索引分片,es可以把一個(gè)完整的索引分成多個(gè)分片,這樣的好處是可以把一個(gè)大的索引拆分成多個(gè),分布到不同的節(jié)點(diǎn)上。構(gòu)成分布式搜索。分片的數(shù)量只能在索引創(chuàng)建前指定,并且索引創(chuàng)建后不能更改。

replicas

代表索引副本,es可以設(shè)置多個(gè)索引的副本,副本的作用一是提高系統(tǒng)的容錯(cuò)性,當(dāng)個(gè)某個(gè)節(jié)點(diǎn)某個(gè)分片損壞或丟失時(shí)可以從副本中恢復(fù)。二是提高es的查詢效率,es會(huì)自動(dòng)對(duì)搜索請(qǐng)求進(jìn)行負(fù)載均衡。

recovery

代表數(shù)據(jù)恢復(fù)或叫數(shù)據(jù)重新分布,es在有節(jié)點(diǎn)加入或退出時(shí)會(huì)根據(jù)機(jī)器的負(fù)載對(duì)索引分片進(jìn)行重新分配,掛掉的節(jié)點(diǎn)重新啟動(dòng)時(shí)也會(huì)進(jìn)行數(shù)據(jù)恢復(fù)。

river

代表es的一個(gè)數(shù)據(jù)源,也是其它存儲(chǔ)方式(如:數(shù)據(jù)庫)同步數(shù)據(jù)到es的一個(gè)方法。它是以插件方式存在的一個(gè)es服務(wù),通過讀取river中的數(shù)據(jù)并把它索引到es中,官方的river有couchDB的,RabbitMQ的,Twitter的,Wikipedia的,river這個(gè)功能將會(huì)在后面的文件中重點(diǎn)說到。

gateway

代表es索引的持久化存儲(chǔ)方式,es默認(rèn)是先把索引存放到內(nèi)存中,當(dāng)內(nèi)存滿了時(shí)再持久化到硬盤。當(dāng)這個(gè)es集群關(guān)閉再重新啟動(dòng)時(shí)就會(huì)從gateway中讀取索引數(shù)據(jù)。es支持多種類型的gateway,有本地文件系統(tǒng)(默認(rèn)),分布式文件系統(tǒng),Hadoop的HDFS和amazon的s3云存儲(chǔ)服務(wù)。

discovery.zen

代表es的自動(dòng)發(fā)現(xiàn)節(jié)點(diǎn)機(jī)制,es是一個(gè)基于p2p的系統(tǒng),它先通過廣播尋找存在的節(jié)點(diǎn),再通過多播協(xié)議來進(jìn)行節(jié)點(diǎn)之間的通信,同時(shí)也支持點(diǎn)對(duì)點(diǎn)的交互。

Transport

代表es內(nèi)部節(jié)點(diǎn)或集群與客戶端的交互方式,默認(rèn)內(nèi)部是使用tcp協(xié)議進(jìn)行交互,同時(shí)它支持http協(xié)議(json格式)、thrift、servlet、memcached、zeroMQ等的傳輸協(xié)議(通過插件方式集成)。

更多詳細(xì)信息可以在Elasticsearch 權(quán)威指南(中文版)

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,739評(píng)論 6 534
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,634評(píng)論 3 419
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,653評(píng)論 0 377
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,063評(píng)論 1 314
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,835評(píng)論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,235評(píng)論 1 324
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,315評(píng)論 3 442
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,459評(píng)論 0 289
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,000評(píng)論 1 335
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,819評(píng)論 3 355
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 43,004評(píng)論 1 370
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,560評(píng)論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,257評(píng)論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,676評(píng)論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,937評(píng)論 1 288
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 51,717評(píng)論 3 393
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 48,003評(píng)論 2 374

推薦閱讀更多精彩內(nèi)容