大型互聯(lián)網公司微服務架構進化史

一、微服務架構介紹

微服務架構(Microservice Architecture)是一種架構概念,旨在通過將功能分解到各個離散的服務中以實現(xiàn)對解決方案的解耦。你可以將其看作是在架構層次而非獲取服務的類上應用很多SOLID原則。微服務架構是個很有趣的概念,它的主要作用是將功能分解到離散的各個服務當中,從而降低系統(tǒng)的耦合性,并提供更加靈活的服務支持。

概念:把一個大型的單個應用程序和服務拆分為數(shù)個甚至數(shù)十個的支持微服務,它可擴展單個組件而不是整個的應用程序堆棧,從而滿足服務等級協(xié)議。

定義:圍繞業(yè)務領域組件來創(chuàng)建應用,這些應用可獨立地進行開發(fā)、管理和迭代。在分散的組件中使用云架構和平臺式部署、管理和服務功能,使產品交付變得更加簡單。

本質:用一些功能比較明確、業(yè)務比較精練的服務去解決更大、更實際的問題。

二、出現(xiàn)和發(fā)展

微服務(Microservice)這個概念是2012年出現(xiàn)的,作為加快Web和移動應用程序開發(fā)進程的一種方法,2014年開始受到各方的關注,而2015年,可以說是微服務的元年;

越來越多的論壇、社區(qū)、blog以及互聯(lián)網行業(yè)巨頭開始對微服務進行討論、實踐,可以說這樣更近一步推動了微服務的發(fā)展和創(chuàng)新。而微服務的流行,Martin Fowler功不可沒。

這老頭是個奇人,特別擅長抽象歸納和制造概念。特別是微服務這種新生的名詞,都有一個特點:一解釋就懂,一問就不知,一討論就打架。

Martin Fowler是國際著名的OO專家,敏捷開發(fā)方法的創(chuàng)始人之一,現(xiàn)為ThoughtWorks公司的首

席科學家。在面向對象分析設計、UML、模式、軟件開發(fā)方法學、XP、重構等方面,都是世界頂級的

專家,現(xiàn)為Thought Works公司的首席科學家。Thought Works是一家從事企業(yè)應用開發(fā)和——集

成的公司。早在20世紀80年代,F(xiàn)owler就是使用對象技術構建多層企業(yè)應用的倡導者,他著有幾

本經典書籍: 《企業(yè)應用架構模式》、《UML精粹》和《重構》等。

三、傳統(tǒng)開發(fā)模式和微服務的區(qū)別

先來看看傳統(tǒng)的web開發(fā)方式,通過對比比較容易理解什么是Microservice Architecture。和Microservice相對應的,這種方式一般被稱為Monolithic(單體式開發(fā))。

所有的功能打包在一個 WAR包里,基本沒有外部依賴(除了容器),部署在一個JEE容器(Tomcat,JBoss,WebLogic)里,包含了 DO/DAO,Service,UI等所有邏輯。

大型互聯(lián)網公司微服務架構進化史

優(yōu)點:

①開發(fā)簡單,集中式管理

②基本不會重復開發(fā)

③功能都在本地,沒有分布式的管理和調用消耗

缺點:

1、效率低:開發(fā)都在同一個項目改代碼,相互等待,沖突不斷

2、維護難:代碼功功能耦合在一起,新人不知道何從下手

3、不靈活:構建時間長,任何小修改都要重構整個項目,耗時

4、穩(wěn)定性差:一個微小的問題,都可能導致整個應用掛掉

5、擴展性不夠:無法滿足高并發(fā)下的業(yè)務需求

常見的系統(tǒng)架構遵循的三個標準和業(yè)務驅動力:

1、提高敏捷性:及時響應業(yè)務需求,促進企業(yè)發(fā)展

2、提升用戶體驗:提升用戶體驗,減少用戶流失

3、降低成本:降低增加產品、客戶或業(yè)務方案的成本

基于微服務架構的設計:

目的:有效的拆分應用,實現(xiàn)敏捷開發(fā)和部署

關于微服務的一個形象表達:


X軸:運行多個負載均衡器之后的運行實例

Y軸:將應用進一步分解為微服務(分庫)

Z軸:大數(shù)據(jù)量時,將服務分區(qū)(分表)

四、微服務的具體特征

官方的定義:

1、一些列的獨立的服務共同組成系統(tǒng)

2、單獨部署,跑在自己的進程中

3、每個服務為獨立的業(yè)務開發(fā)

4、分布式管理

5、非常強調隔離性

大概的標準:

1、分布式服務組成的系統(tǒng)

2、按照業(yè)務,而不是技術來劃分組織

3、做有生命的產品而不是項目

4、強服務個體和弱通信( Smart endpoints and dumb pipes )

5、自動化運維( DevOps )

6、高度容錯性

7、快速演化和迭代

五、SOA和微服務的區(qū)別

1、SOA喜歡重用,微服務喜歡重寫

SOA的主要目的是為了企業(yè)各個系統(tǒng)更加容易地融合在一起。 說到SOA不得不說ESB(EnterpriseService Bus)。 ESB是什么? 可以把ESB想象成一個連接所有企業(yè)級服務的腳手架。

通過service broker,它可以把不同數(shù)據(jù)格式或模型轉成canonical格式,把XML的輸入轉成CSV傳給legacy服務,把SOAP 1.1服務轉成 SOAP 1.2等等。 它還可以把一個服務

路由到另一個服務上,也可以集中化管理業(yè)務邏輯,規(guī)則和驗證等等。 它還有一個重要功能是消息隊列和事件驅動的消息傳遞,比如把JMS服務轉化成SOAP協(xié)議。 各服務間可能有

復雜的依賴關系。

微服務通常由重寫一個模塊開始。要把整個巨石型的應用重寫是有很大的風險的,也不一定必要。我們向微服務遷移的時候通常從耦合度最低的模塊或對擴展性要求最高的模塊開始,

把它們一個一個剝離出來用敏捷地重寫,可以嘗試最新的技術和語言和框架,然 后單獨布署。 它通常不依賴其他服務。微服務中常用的API Gateway的模式主要目的也不是重用代碼,

而是減少客戶端和服務間的往來。API gateway模式不等同與Facade模式,我們可以使用如future之類的調用,甚至返回不完整數(shù)據(jù)。

2、SOA喜歡水平服務,微服務喜歡垂直服務

SOA設計喜歡給服務分層(如Service Layers模式)。 我們常常見到一個Entity服務層的設計,美其名曰Data Access Layer。 這種設計要求所有的服務都通過這個Entity服務層

來獲取數(shù)據(jù)。 這種設計非常不靈活,比如每次數(shù)據(jù)層的改動都可能影響到所有業(yè)務層的服務。 而每個微服務通常有它自己獨立的data store。 我們在拆分數(shù)據(jù)庫時可以適當?shù)淖鲂?/p>

去范式化(denormalization),讓它不需要依賴其他服務的數(shù)據(jù)。

微服務通常是直接面對用戶的,每個微服務通常直接為用戶提供某個功能。 類似的功能可能針對手機有一個服務,針對機頂盒是另外一個服務。 在SOA設計模式中這種情況通常會用到

Multi-ChannelEndpoint的模式返回一個大而全的結果兼顧到所有的客戶端的需求。

3、SOA喜歡自上而下,微服務喜歡自下而上

SOA架構在設計開始時會先定義好服務合同(service contract)。 它喜歡集中管理所有的服務,包括集中管理業(yè)務邏輯,數(shù)據(jù),流程,schema,等等。 它使用Enterprise

Inventory和Service Composition等方法來集中管理服務。 SOA架構通常會預先把每個模塊服務接口都定義好。 模塊系統(tǒng)間的通訊必須遵守這些接口,各服務是針對他們的調用者。

SOA架構適用于TOGAF之類的架構方法論。

微服務則敏捷得多。只要用戶用得到,就先把這個服務挖出來。然后針對性的,快速確認業(yè)務需求,快速開發(fā)迭代。

在此我向大家推薦一個架構學習交流群。交流學習群號:478030634 ?里面會分享一些資深架構師錄制的視頻錄像:有Spring,MyBatis,Netty源碼分析,高并發(fā)、高性能、分布式、微服務架構的原理,JVM性能優(yōu)化、分布式架構等這些成為架構師必備的知識體系。還能領取免費的學習資源,目前受益良多

六、怎么具體實踐微服務

要實際的應用微服務,需要解決一下四點問題:

客戶端如何訪問這些服務

每個服務之間如何通信

如此多的服務,如何實現(xiàn)?

服務掛了,如何解決?(備份方案,應急處理機制)

1、客戶端如何訪問這些服務

原來的Monolithic方式開發(fā),所有的服務都是本地的,UI可以直接調用,現(xiàn)在按功能拆分成獨立的服務,跑在獨立的一般都在獨立的虛擬機上的 Java進程了。客戶端UI如何訪問他的?

后臺有N個服務,前臺就需要記住管理N個服務,一個服務下線/更新/升級,前臺就要重新部署,這明顯不服務我們 拆分的理念,特別當前臺是移動應用的時候,通常業(yè)務變化的節(jié)奏更快。

另外,N個小服務的調用也是一個不小的網絡開銷。還有一般微服務在系統(tǒng)內部,通常是無 狀態(tài)的,用戶登錄信息和權限管理最好有一個統(tǒng)一的地方維護管理(OAuth)。

所以,一般在后臺N個服務和UI之間一般會一個代理或者叫API Gateway,他的作用包括:

① 提供統(tǒng)一服務入口,讓微服務對前臺透明

② 聚合后臺的服務,節(jié)省流量,提升性能

③ 提供安全,過濾,流控等API管理功能

其實這個API Gateway可以有很多廣義的實現(xiàn)辦法,可以是一個軟硬一體的盒子,也可以是一個簡單的MVC框架,甚至是一個Node.js的服務端。他們最重要的作 用是為前臺(通常是

移動應用)提供后臺服務的聚合,提供一個統(tǒng)一的服務出口,解除他們之間的耦合,不過API Gateway也有可能成為單點故障點或者性能的瓶頸。

用過Taobao Open Platform(淘寶開放平臺)的就能很容易的體會,TAO就是這個API Gateway。

2、每個服務之間如何通信

所有的微服務都是獨立的Java進程跑在獨立的虛擬機上,所以服務間的通信就是IPC(inter process communication),已經有很多成熟的方案。現(xiàn)在基本最通用的有兩種方式:

同步調用:

①REST(JAX-RS,Spring Boot)

②RPC(Thrift, Dubbo)

異步消息調用(Kafka, Notify, MetaQ)

同步和異步的區(qū)別:

一般同步調用比較簡單,一致性強,但是容易出調用問題,性能體驗上也會差些,特別是調用層次多的時候。RESTful和RPC的比較也是一個很有意 思的話題。

一般REST基于HTTP,更容易實現(xiàn),更容易被接受,服務端實現(xiàn)技術也更靈活些,各個語言都能支持,同時能跨客戶端,對客戶端沒有特殊的要求,只要封裝了HTTP的

SDK就能調用,所以相對使用的廣一些。RPC也有自己的優(yōu)點,傳輸協(xié)議更高效,安全更可控,特別在一個公司內部,如果有統(tǒng)一個 的開發(fā)規(guī)范和統(tǒng)一的服務框架時,

他的開發(fā)效率優(yōu)勢更明顯些。就看各自的技術積累實際條件,自己的選擇了。

而異步消息的方式在分布式系統(tǒng)中有特別廣泛的應用,他既能減低調用服務之間的耦合,又能成為調用之間的緩沖,確保消息積壓不會沖垮被調用方,同時能保證調用方的

服務體驗,繼續(xù)干自己該干的活,不至于被后臺性能拖慢。不過需要付出的代價是一致性的減弱,需要接受數(shù)據(jù)最終一致性;還有就是后臺服務一般要 實現(xiàn)冪等性,因為消息

發(fā)送出于性能的考慮一般會有重復(保證消息的被收到且僅收到一次對性能是很大的考驗);最后就是必須引入一個獨立的broker,如果公司內部沒有技術積累,

對broker分布式管理也是一個很大的挑戰(zhàn)。

3、如此多的服務,如何實現(xiàn)?

在微服務架構中,一般每一個服務都是有多個拷貝,來做負載均衡。一個服務隨時可能下線,也可能應對臨時訪問壓力增加新的服務節(jié)點。服務之間如何相互感知?服務如何管理?

這就是服務發(fā)現(xiàn)的問題了。一般有兩類做法,也各有優(yōu)缺點。基本都是通過zookeeper等類似技術做服務注冊信息的分布式管理。當服務上線時,服務提供者將自己的服務信息

注冊到ZK(或類似框架),并通過心跳維持長鏈接,實時更新鏈接信息。服務調用者通過ZK尋址,根據(jù)可定制算法, 找到一個服務,還可以將服務信息緩存在本地以提高性能。

當服務下線時,ZK會發(fā)通知給服務客戶端。

客戶端做:優(yōu)點是架構簡單,擴展靈活,只對服務注冊器依賴。缺點是客戶端要維護所有調用服務的地址,有技術難度,一般大公司都有成熟的內部框架支持,比如Dubbo。

服務端做:優(yōu)點是簡單,所有服務對于前臺調用方透明,一般在小公司在云服務上部署的應用采用的比較多。


4、服務掛了,如何解決

前面提到,Monolithic方式開發(fā)一個很大的風險是,把所有雞蛋放在一個籃子里,一榮俱榮,一損俱損。而分布式最大的特性就是網絡是不可靠的。通過微服務拆分能降低這個風險,

不過如果沒有特別的保障,結局肯定是噩夢。所以當我們的系統(tǒng)是由一系列的服務調用鏈組成的時候,我們必須確保任一環(huán)節(jié)出問題都不至于影響整體鏈路。相應的手段有很多:

①重試機制

②限流

③熔斷機制

④負載均衡

⑤降級(本地緩存)

這些方法基本都很明確通用,比如Netflix的Hystrix:https://github.com/Netflix/Hystrix

七、常見的設計模式和應用

有一個圖非常好的總結微服務架構需要考慮的問題,包括:

1、API Gateway

2、服務間調用

3、服務發(fā)現(xiàn)

4、服務容錯

5、服務部署

6、數(shù)據(jù)調用

六種常見的微服務架構設計模式:

1、聚合器微服務設計模式

這是一種最常見也最簡單的設計模式:

聚合器調用多個服務實現(xiàn)應用程序所需的功能。它可以是一個簡單的Web頁面,將檢索到的數(shù)據(jù)進行處理展示。它也可以是一個更高層次的組合微服務,對檢索到的數(shù)據(jù)增加業(yè)務邏輯后進一步

發(fā)布成一個新的微服務,這符合DRY原則。另外,每個服務都有自己的緩存和數(shù)據(jù)庫。如果聚合器是一個組合服務,那么它也有自己的緩存和數(shù)據(jù)庫。聚合器可以沿X軸和Z軸獨立擴展。

2、代理微服務設計模式

這是聚合模式的一個變種,如下圖所示:

在這種情況下,客戶端并不聚合數(shù)據(jù),但會根據(jù)業(yè)務需求的差別調用不同的微服務。代理可以僅僅委派請求,也可以進行數(shù)據(jù)轉換工作。

3、鏈式微服務設計模式

這種模式在接收到請求后會產生一個經過合并的響應,如下圖所示:

在這種情況下,服務A接收到請求后會與服務B進行通信,類似地,服務B會同服務C進行通信。所有服務都使用同步消息傳遞。在整個鏈式調用完成之前,客戶端會一直阻塞。

因此,服務調用鏈不宜過長,以免客戶端長時間等待。

4、分支微服務設計模式

這種模式是聚合器模式的擴展,允許同時調用兩個微服務鏈,如下圖所示:

5、數(shù)據(jù)共享微服務設計模式

自治是微服務的設計原則之一,就是說微服務是全棧式服務。但在重構現(xiàn)有的“單體應用(monolithic application)”時,SQL數(shù)據(jù)庫反規(guī)范化可能會導致數(shù)據(jù)重復和不一致。

因此,在單體應用到微服務架構的過渡階段,可以使用這種設計模式,如下圖所示:

在這種情況下,部分微服務可能會共享緩存和數(shù)據(jù)庫存儲。不過,這只有在兩個服務之間存在強耦合關系時才可以。對于基于微服務的新建應用程序而言,這是一種反模式。

6、異步消息傳遞微服務設計模式

雖然REST設計模式非常流行,但它是同步的,會造成阻塞。因此部分基于微服務的架構可能會選擇使用消息隊列代替REST請求/響應,如下圖所示:

八、優(yōu)點和缺點

1、微服務的優(yōu)點:

關鍵點:復雜度可控,獨立按需擴展,技術選型靈活,容錯,可用性高

①它解決了復雜性的問題。它會將一種怪異的整體應用程序分解成一組服務。雖然功能總量 不變,但應用程序已分解為可管理的塊或服務。每個服務都以RPC或消息驅動的API的

形式定義了一個明確的邊界;Microservice架構模式實現(xiàn)了一個模塊化水平。

②這種架構使每個服務都能夠由專注于該服務的團隊獨立開發(fā)。開發(fā)人員可以自由選擇任何有用的技術,只要該服務符合API合同。當然,大多數(shù)組織都希望避免完全無政府狀態(tài)并

限制技術選擇。然而,這種自由意味著開發(fā)人員不再有義務使用在新項目開始時存在的可能過時的技術。在編寫新服務時,他們可以選擇使用當前的技術。此外,由于服務相對較小,

因此使用當前技術重寫舊服務變得可行。

③Microservice架構模式使每個微服務都能獨立部署。開發(fā)人員不需要協(xié)調部署本地服務的變更。這些變化可以在測試后盡快部署。例如,UI團隊可以執(zhí)行A | B測試,并快速迭代

UI更改。Microservice架構模式使連續(xù)部署成為可能。

④Microservice架構模式使每個服務都可以獨立調整。您可以僅部署滿足其容量和可用性限制的每個服務的實例數(shù)。此外,您可以使用最符合服務資源要求的硬件。

2、微服務的缺點

關鍵點(挑戰(zhàn)):多服務運維難度,系統(tǒng)部署依賴,服務間通信成本,數(shù)據(jù)一致性,系統(tǒng)集成測試,重復工作,性能監(jiān)控等

①一個缺點是名稱本身。術語microservice過度強調服務規(guī)模。但重要的是要記住,這是一種手段,而不是主要目標。微服務的目標是充分分解應用程序,以便于敏捷應用程序開發(fā)和部署。

②微服務器的另一個主要缺點是分布式系統(tǒng)而產生的復雜性。開發(fā)人員需要選擇和實現(xiàn)基于消息傳遞或RPC的進程間通信機制。此外,他們還必須編寫代碼來處理部分故障,

因為請求的目的地可能很慢或不可用。

③微服務器的另一個挑戰(zhàn)是分區(qū)數(shù)據(jù)庫架構。更新多個業(yè)務實體的業(yè)務交易是相當普遍的。但是,在基于微服務器的應用程序中,您需要更新不同服務所擁有的多個數(shù)據(jù)庫。使用分布式事務

通常不是一個選擇,而不僅僅是因為CAP定理。許多今天高度可擴展的NoSQL數(shù)據(jù)庫都不支持它們。你最終不得不使用最終的一致性方法,這對開發(fā)人員來說更具挑戰(zhàn)性。

④測試微服務應用程序也更復雜。服務類似的測試類將需要啟動該服務及其所依賴的任何服務(或至少為這些服務配置存根)。再次,重要的是不要低估這樣做的復雜性。

⑤Microservice架構模式的另一個主要挑戰(zhàn)是實現(xiàn)跨越多個服務的更改。例如,我們假設您正在實施一個需要更改服務A,B和C的故事,其中A取決于B和B取決于C.在單片應用程序中,

您可以簡單地更改相應的模塊,整合更改,并一次性部署。相比之下,在Microservice架構模式中,您需要仔細規(guī)劃和協(xié)調對每個服務的更改。例如,您需要更新服務C,然后更新服務B,

然后再維修A.幸運的是,大多數(shù)更改通常僅影響一個服務,而需要協(xié)調的多服務變更相對較少。

⑥部署基于微服務的應用程序也更復雜。單一應用程序簡單地部署在傳統(tǒng)負載平衡器后面的一組相同的服務器上。每個應用程序實例都配置有基礎架構服務(如數(shù)據(jù)庫和消息代理)

的位置(主機和端口)。相比之下,微服務應用通常由大量服務組成。例如,每個服務將有多個運行時實例。更多的移動部件需要進行配置,部署,擴展和監(jiān)控。此外,您還需要實現(xiàn)服務

發(fā)現(xiàn)機制,使服務能夠發(fā)現(xiàn)需要與之通信的任何其他服務的位置(主機和端口)。傳統(tǒng)的基于故障單和手動操作的方法無法擴展到這種復雜程度。因此,成功部署微服務應用程序需要

開發(fā)人員更好地控制部署方法,并實現(xiàn)高水平的自動化。

九、思考:意識的轉變

微服務對我們的思考,更多的是思維上的轉變。對于微服務架構:技術上不是問題,意識比工具重要。

關于微服務的幾點設計出發(fā)點:

1、應用程序的核心是業(yè)務邏輯,按照業(yè)務或客戶需求組織資源(這是最難的)

2、做有生命的產品,而不是項目

3、頭狼戰(zhàn)隊,全棧化

4、后臺服務貫徹Single Responsibility Principle(單一職責原則)

5、VM->Docker (to PE)

6、DevOps (to PE)

同時,對于開發(fā)同學,有這么多的中間件和強大的PE支持固然是好事,我們也需要深入去了解這些中間件背后的原理,知其然知其所以然,在有限的技術資源如何通過開源技術實施微服務?

在此我向大家推薦一個架構學習交流群。交流學習群號:478030634 ?里面會分享一些資深架構師錄制的視頻錄像:有Spring,MyBatis,Netty源碼分析,高并發(fā)、高性能、分布式、微服務架構的原理,JVM性能優(yōu)化、分布式架構等這些成為架構師必備的知識體系。還能領取免費的學習資源,目前受益良多

大家覺得文章對你還是有一點點幫助的,大家可以點擊下方二維碼進行關注。 《Java爛豬皮》 公眾號聊的不僅僅是Java技術知識,還有面試等干貨,后期還有大量架構干貨。大家一起關注吧!關注爛豬皮,你會了解的更多..............

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容