Elasticsearch內部探秘

Neil Zhu,簡書ID Not_GOD,University AI 創始人 & Chief Scientist,致力于推進世界人工智能化進程。制定并實施 UAI 中長期增長戰略和目標,帶領團隊快速成長為人工智能領域最專業的力量。
作為行業領導者,他和UAI一起在2014年創建了TASA(中國最早的人工智能社團), DL Center(深度學習知識中心全球價值網絡),AI growth(行業智庫培訓)等,為中國的人工智能人才建設輸送了大量的血液和養分。此外,他還參與或者舉辦過各類國際性的人工智能峰會和活動,產生了巨大的影響力,書寫了60萬字的人工智能精品技術內容,生產翻譯了全球第一本深度學習入門書《神經網絡與深度學習》,生產的內容被大量的專業垂直公眾號和媒體轉載與連載。曾經受邀為國內頂尖大學制定人工智能學習規劃和教授人工智能前沿課程,均受學生和老師好評。

Elasticsearch內部探秘

by Njal Karevoll

什么是module?

ES中的module是一個Guice Module部件完成配置信息和綁定ES各類接口的特定實現。

Guice: lightweight dependency injection framework for Java 5 and above, brought to you by Google.

不含任何插件的標準的ES服務器擁有超過112個模塊:(原文100,最新數據112個模塊)

?  elasticsearch git:(master) find src/main -name \*Module\* | grep -v common | wc -l
     112

ES在啟動時,基于其配置文件和運行時環境來搜集不同模塊,并創建一個稱為Injector的東西。簡單說,Injector就是一個不需要提供構建參數可以構建類的實例的對象。Injector將會使用它的配置完的模塊來定位所有請求的依賴,并以一種拓撲順序來為我們創建出這些實例。這樣的做法為我們節約了大量時間,并幫助我們創建出來一個可復合的模塊系統。這樣的系統ES所需的規模需要可控。

用更加專業的術語,這就是一個依賴注入(dependency injection),用James Shore的話說就是:

Dependency injection means giving an object its instance variables

本文后面將解釋為何ES如此易插件化和可擴展。我們首先看看ES的HTTP部分來弄清Guice和依賴注入是如何運作的。

HTTP服務模塊

ES抽象為一個HttpServer類,在構建期間獲得一個HttpServerTransport,這默認綁定在一個稱為NettyHttpServerTransport的具體實現上。換句話說,HttpServer不清楚請求或者響應是如何接受和發送的,它只需要處理應用邏輯(application logic)(i.e. 幫助到來的請求找到一個合適的請求處理者)。

如果,由于某些原因(如性能,安全,特性等),ES打算切換HTTP層(layer),如同對換出一個配置值那樣簡單(http.type)。因此,Sonian基于Jetty發布了一個ES的HTTP層,這個東西剛好解決這個問題。可以在這里下載。基于Jetty的實現支撐了諸如驗證這樣的特性,這在一些應用場景種肯定有相應的需求。

命名空間

下圖展示了ES的模塊和命名空間:


elasticsearch_internal.png

多個模塊基于他們在源代碼樹或者代碼中的調用情況被放進了不同的命名空間中。ES不同的側面,諸如REST接口,插件,River和傳輸服務是分割的實體,他們之間沒有模塊層面的依賴。模塊可能已經太過龐大或者難以復合使用的將會被進一步分割成嵌套命名空間中的稍小的模塊。

所有模塊

所有模塊的全圖是相當大的。下圖展示了這個情況:
其中的注釋命名規則是:Namespaces-Module names-Bound classes

modules-all.png

新模塊的產生

大多數模塊僅僅會提供一個或者多個類或接口,但是某些模塊可以產生它們需要的新模塊。這些模塊通常依賴當前Setting對象而產生,這是在啟動ES的時候從elasticseasrch.yml中讀取的。這就讓插件作者能夠寫出替代或者擴展ES內置功能,可以通過默認的配置系統來開啟和配置這些插件。

這里有個例子,Discovery Module,默認使用Zen或者Local發現模塊,但是可能有其通過設置discovery.type配置值來實現完成另外模塊的對換。此乃Sonian的ZooKeeper Discovery的工作原理。

擴展和對換的實現

當我們需要完全對換出ES中整個部件的實現時,這些模塊提供給我們一種簡單增加ES能力的的方法。因為所有由模塊系統實例化的類可能需要一個到任何其他由同一個系統實例化的類的引用,于是通過良定義的接口很容易擴展功能。

AnalysisModule是使用ES和Lucene的開發者最最關心的模塊之一。分析模塊負責提供索引和搜索時分析器、分詞詞、字符過濾器和token過濾器。使用這個模塊提供的API,很容易增加Lucene適用的分析器、分詞器或者過濾器進入ES,只需要幾行代碼就可以完成。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,048評論 6 542
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,414評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,169評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,722評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,465評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,823評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,813評論 3 446
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,000評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,554評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,295評論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,513評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,035評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,722評論 3 348
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,125評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,430評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,237評論 3 398
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,482評論 2 379

推薦閱讀更多精彩內容

  • 此文為本人學習guice的過程中,翻譯的官方文檔,如有不對的地方,歡迎指出。另外還有一些附件說明、吐槽、疑問點,持...
    李眼鏡閱讀 3,514評論 2 5
  • Spring Cloud為開發人員提供了快速構建分布式系統中一些常見模式的工具(例如配置管理,服務發現,斷路器,智...
    卡卡羅2017閱讀 134,826評論 18 139
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,728評論 25 708
  • WebSocket-Swift Starscream的使用 WebSocket 是 HTML5 一種新的協議。它實...
    香橙柚子閱讀 24,013評論 8 183
  • 夜晚思緒總是豐富多彩的,突然想起了9歲的自己,那次一個人的“冒險之旅”。 心里竟有說不出的苦澀。 那時候是冬天,很...
    謝_十三幺閱讀 293評論 2 4