elastic search 數據復制方案調研

question. 一個原始索引,一個A索引,一個B索引,數據在原始索引,A與B索引采用一個別名,將原始索引數據復制到該別名,A、B索引下是否都有全量數據?

要點1:能否通過別名對應多個索引,將原始數據復制給別名代表的多個索引?
要點2:如何從舊索引復制數據到新索引?

有博客說:不能對有多個索引的別名進行寫操作,當有多個索引時alias,不能區分到底操作哪一個。
下面進行驗證與嘗試

測試環境elastic search2.2

1.創建原始索引

POST /cars/transactions/_bulk 
{ "index": {}} 
{ "price" : 10000, "color" : "red", "make" : "honda", "sold" : "2014-10-28" } 
{ "index": {}} 
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" } 
{ "index": {}} 
{ "price" : 30000, "color" : "green", "make" : "ford", "sold" : "2014-05-18" } 
{ "index": {}} 
{ "price" : 15000, "color" : "blue", "make" : "toyota", "sold" : "2014-07-02" } 
{ "index": {}} 
{ "price" : 12000, "color" : "green", "make" : "toyota", "sold" : "2014-08-19" } 
{ "index": {}} 
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" } 
{ "index": {}} 
{ "price" : 80000, "color" : "red", "make" : "bmw", "sold" : "2014-01-01" } 
{ "index": {}} 
{ "price" : 25000, "color" : "blue", "make" : "ford", "sold" : "2014-02-12" }

2.創建兩個新索引

PUT test1
PUT test2

3.創建test1、test2的別名

POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "test1",
        "alias": "my_index_alias"
      }
    },
    {
      "add": {
        "index": "test2",
        "alias": "my_index_alias"
      }
    }
  ]
}

4. 重索引 _reindex,將原始索引中數據復制給別名,參考官方文檔:ES 5.1 ReindexAPI

POST _reindex
{
  "source": {
    "index": "cars"
  },
  "dest": {
    "index": "my_index_alias"
  }
}

結果

{
   "error": "NullPointerException[null]",
   "status": 500
}
es5.1reindex API提示

結論

首先,可能2.2不支持該操作,其次,此api處于實驗階段可靠性低,下面將嘗試用其他方式進行步驟4的重索引工作。


利用bulk操作將原始索引中的數據PUT到別名代表的兩個索引中:

POST /my_index_alias/transactions/_bulk 
{ "index": {}} 
{ "price" : 10000, "color" : "red", "make" : "honda", "sold" : "2014-10-28" } 
{ "index": {}} 
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" } 
{ "index": {}} 
{ "price" : 30000, "color" : "green", "make" : "ford", "sold" : "2014-05-18" } 
{ "index": {}} 
{ "price" : 15000, "color" : "blue", "make" : "toyota", "sold" : "2014-07-02" } 
{ "index": {}} 
{ "price" : 12000, "color" : "green", "make" : "toyota", "sold" : "2014-08-19" } 
{ "index": {}} 
{ "price" : 20000, "color" : "red", "make" : "honda", "sold" : "2014-11-05" } 
{ "index": {}} 
{ "price" : 80000, "color" : "red", "make" : "bmw", "sold" : "2014-01-01" } 
{ "index": {}} 
{ "price" : 25000, "color" : "blue", "make" : "ford", "sold" : "2014-02-12" }

結果:

{
   "error": "ElasticsearchIllegalArgumentException[Alias [my_index_alias] has more than one indices associated with it [[test1, test2]], can't execute a single index op]",
   "status": 400
}

此外,不采用bulk操作而只單個的進行POST操作,也存在相同的報錯。

POST my_index_alias/transactions
  { "index": {}} 
{ "price" : 25001, "color" : "blue", "make" : "ford", "sold" : "2014-02-12" }

將別名對應一個索引進行上述操作,成功將數據復制到了別名對應的索引。通過報錯可知該操作只能針對單個索引進行。


在Elasticsearch所有的API中,對應的是一個或者多個索引。Elasticsearch可以對一個或者多個索引指定別名,通過別名可以查詢到一個或者多個索引的內容,在內部,Elasticsearch會自動把別名映射到響應的索引上??梢詫e名編寫過濾器或者路由,在系統中別名不能重復,也不能和索引名重復。其實在Elasticsearch的別名機制有點像數據庫中的視圖。


結論:查詢操作允許針對多個索引,增刪改操作不能對應多索引,無法針對別名進行多索引的增刪改。


數據遷移方式:

1. 數據庫導入

2.es scorll 批量讀取 再bulk API 添加到新的索引(官方建議);Elasticsearch 十二、數據遷移 批量處理(scorll滾動查詢,bulk批量索引)

3.官方reindex 目前最新版本支持,2.x版本不支持;ES 5.1 ReindexAPI \ ES 2.x Reindex

4.利用elastictransfor elasticsearch-dump elasticsearch-reindex elasticsearch-knapsack 等reindex工具elasticsearch reindex 工具匯總、使用工具遷移索引數據

5.通過ES的備份功能數據遷移

分析:

1方式最為原始,從數據庫導入es數據,較慢。如果es中已有數據,最好利用已有數據拷貝到新索引,即方式2。方式3如果可靠性能夠保證則用來進行索引鍵的數據復制自然合適。方式4、5主要用于備份還原、數據的跨節點遷移,不適用于舊索引到新索引的數據遷移。

如果將舊索引數據遷移到新索引,采用方式2、3合適。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,825評論 6 546
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,814評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事?!?“怎么了?”我有些...
    開封第一講書人閱讀 178,980評論 0 384
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 64,064評論 1 319
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,779評論 6 414
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,109評論 1 330
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,099評論 3 450
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,287評論 0 291
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,799評論 1 338
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,515評論 3 361
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,750評論 1 375
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,221評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,933評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,327評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,667評論 1 296
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,492評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,703評論 2 380

推薦閱讀更多精彩內容

  • 此文是關于elasticsearch in action書部分重點讀書筆記。 Chapter 2 Diving i...
    shamumu閱讀 2,568評論 0 1
  • 刪除索引 用以下的請求來 刪除索引: 對一些人來說,能夠用單個命令來刪除所有數據可能會導致可怕的后果。如果你想要避...
    techhow閱讀 1,096評論 0 1
  • Elasticsearch 架構以及源碼概覽 Elasticsearch是最近兩年異軍突起的一個兼有搜索引擎和No...
    meng_philip123閱讀 4,334評論 1 36
  • 爬出來后我看了看胖子哪賤樣!立刻就罵他:“我說你這死胖子,你剛才可是道德問題,老子能屈能伸不和你一般見識!你知道不...
    揣著糖放著炮閱讀 666評論 35 8
  • 如果你不喜歡一個人,會跟他在一起嗎?這是阿木在深夜問我的一個問題。 看到這句話,心里忽然隴上一陣心疼同時還有一種深...
    小李崽_閱讀 1,332評論 4 8