雷達嗶嗶嗶 #6-Event streaming as the source of truth

image.png

標簽:

  • Kafka,Event Sourcing

目標受眾:

  • 目標受眾:系統(tǒng)架構師

關注問題:

  • 在以微服務架構為代表,分布式系統(tǒng)架構越來越成為主流的當下,如何保證不同限界上下文中數(shù)據(jù)的一致性一直是系統(tǒng)架構設計上的一個主要挑戰(zhàn)。尤其是在只留存數(shù)據(jù)最終鏡像(Snapshot)的數(shù)據(jù)持久化方案下。有沒有一種方案可以讓數(shù)據(jù)同步變得簡單、可靠且可溯源可重建?一直是系統(tǒng)架構師在思考和追尋的。

解決方案:

  • 將事件(Event)作為主數(shù)據(jù)源(Single source of truth),在上下文內則可以直接使用事件溯源(Event Sourcing)獲取領域對象的最新數(shù)據(jù)快照,對外則可以直接使用類似于Kafka的工具通過事件的傳遞和廣播進行不同上下文間的同樣基于事件溯源(Event Sourcing)的數(shù)據(jù)同步和轉換(ETL)。

解讀:

可能很多同學看到上邊的問題描述和解決方案后,還沒看到這就兒就已經走了……

這其實也可以理解,太多的詞兒讓人聽了不知所云,一頭霧水。什么Event、Sourcing、Source of Truth、Snapshot,感覺這些詞創(chuàng)造的時候可能就是為了架構師彰顯身份用的……

其實吧,很簡單,我們做個比喻大家就都清楚了,就拿大家熟悉的Git舉例子,Git就是一個就是基于事件(Commit)和事件溯源(Commit Chain)的好例子:

假設你有一份你的代碼(數(shù)據(jù)),我有一份我的代碼(數(shù)據(jù)),兩份代碼處理不同的事情。突然有一天我發(fā)現(xiàn)你寫代碼(數(shù)據(jù))其中有一塊我也能用,在通過一通“親切友好”的溝(暴)通(揍)后,我把你的最新代碼直接拷貝過來,放到了我的代碼庫里,并定時拷貝這塊最新的代碼過來,這就叫做同步(Synchronizing)。

后來我發(fā)現(xiàn)你的代碼和我的代碼還有一些不匹配,很多邏輯我并不用,只需要很少一部分,而且還得修改一下才能與我的代碼對接,這就叫做ETL(Extract-Transform-Load)。

作為一個有追求的程序員,我將這個拷貝轉換的過程(ETL)寫了個程序,每天早上7點工作前自動完成。但是這就引入了一個新的問題,這個程序有時候經常出問題(不要問我為什么……),導致我的代碼(數(shù)據(jù))和你的最新代碼(數(shù)據(jù))不一致,我需要知道我最新的代碼是哪一次同步的,是否完整,以及如何重新同步代碼到最新,這個過程就叫溯源(Sourcing)和重建(Rebuild)。

隨著我同步的代碼(數(shù)據(jù))越來越多,如何保證這些來自不同源的代碼(數(shù)據(jù))始終保持時間一致性,可溯源,可重建就慢慢成為一件比較難的事情,也就是我上面提到的這個Blip關注都問題。

在代碼拷貝這個場景里,Git給我們提供了另一種解決問題的思路。即我們不再保存我們的代碼在某一個時間點的完整代碼即代碼鏡像(Snapshot),而只是保存Commit信息,而一個Commit可以理解成就是一個事件(Event)。當我們需要最新代碼的時候,不是從代碼庫里直接復制出最新的完整的代碼版本,而是通過Commit鏈,從頭開始將一個一個Commmit Apply到一起,最終形成了代碼最新的樣子,這個過程就叫做事件溯源(Event Souring),這樣我們不僅記錄了某個時刻的數(shù)據(jù),而且記錄了整個歷史!

Event streaming as the source of truth,所描述的就是將這種基于Event存儲方案應用于我們的系統(tǒng)數(shù)據(jù)管理,即用存儲Event來代替存儲數(shù)據(jù)現(xiàn)狀快照,這樣我們就可以基于Event和Event Souring來處理數(shù)據(jù)的同時,還大大簡化和增強了不同上下文數(shù)據(jù)同步的能力。

這樣我們就具備了Git般的威力,可以在數(shù)據(jù)的歷史中穿梭,可以基于某個時間點做不同數(shù)據(jù)源的一致性同步,可以溯源,可以回滾,可以重建。而數(shù)據(jù)同步也會像Fork,F(xiàn)etch,Merge一樣簡單。

Blip來源:

::Techniques (ASSESS[ 2017.11 | 2018.05 ])::

Event streaming as the source of truth | Technology Radar | ThoughtWorks

相關Blip

延展閱讀:

支持工具:

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,501評論 6 544
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,673評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,610評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,939評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,668評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 56,004評論 1 329
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,001評論 3 449
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,173評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經...
    沈念sama閱讀 49,705評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,426評論 3 359
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,656評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,139評論 5 364
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 44,833評論 3 350
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,247評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,580評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,371評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,621評論 2 380

推薦閱讀更多精彩內容

  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 172,761評論 25 708
  • 用兩張圖告訴你,為什么你的 App 會卡頓? - Android - 掘金 Cover 有什么料? 從這篇文章中你...
    hw1212閱讀 12,814評論 2 59
  • 2018.9.19 脫穎而出? 001.學習成績 在學生時代能夠脫穎而出的一般都是優(yōu)秀的考試成績,或者班級里最愛混...
    ABC的風格_9f47閱讀 293評論 0 0
  • 以下內容主要摘自Jimmy Huang《大型互聯(lián)網(wǎng)架構概述》 互聯(lián)網(wǎng)架構的主要目標,是滿足以下非功能的需求: 低成...
    書海拾貝閱讀 2,208評論 0 5
  • “不自律的,是普通人的人生。” 1 那些自律的人,活得就像開了掛。 說到自律,其實我做的并不夠多。 八月,在北京搬...
    墨然無聲閱讀 735評論 0 2