分布式和集群01:認識分布式和集群

http://www.lxweimin.com/p/8e510857e23f

一、為什么要集群?

A:并發處理能力有限(一般單臺服務器處理的并發量為250左右,超過250,可能會出現數據丟失,鏈接不穩定的情況)。因為單服務器的性能有限制。所以單臺Tomcat的最大連接數有限制,

B:容錯率低,一旦服務器故障,整個服務就無法訪問了。

eBay于 1999年6月停機22小時的事故,中斷了約230萬的拍賣,使eBay的股票下降了9.2個百分點。

C:單臺服務器計算能力低,無法完成復雜的海量數據計算。

二、什么是集群

集群是是指將多臺服務器集中在一起,每臺服務器都實現相同的業務,做相同的事情。
但是每臺服務器并不是缺一不可,存在的作用主要是緩解并發壓力和單點故障轉移問題。
可以利用一些廉價的符合工業標準的硬件構造高性能的系統。
實現:高擴展、高性能、低成本、高可用!

2.1伸縮性(Scalability)
在一些大的系統中,預測最終用戶的數量和行為是非常困難的,伸縮性是指系統適應不斷增長的用戶數的能力。提高這種并發會話能力的一種最直觀的方式就增加資源(CPU,內存,硬盤等),
集群是解決這個問題的另一種方式,它允許一組服務器組在一起,像單個服務器一樣分擔處理一個繁重的任務,我們只需要將新的服務器加入集群中即可,對于客戶來看,服務無論從連續性還是性能上都幾乎沒有變化,好像系統在不知不覺中完成了升級

2.2高可用性(High availability)
單一服務器的解決方案并不是一個健壯方式,因為容易出現單點失效。
像銀行、賬單處理這樣一些關鍵的應用程序是不能容忍哪怕是幾分鐘的死機。它們需要這樣一些服務在任何時間都可以訪問并在可預期的合理的時間周期內有響應。高可用性集群的出現是為了使集群的整體服務盡可能可用,以便考慮計算硬件和軟件的易錯性。
如果高可用性集群中的主節點發生了故障,那么這段時間內將由次節點代替它。次節點通常是主節點的鏡像,所以當它代替主節點時,它可以完全接管其身份,并且因此使系統環境對于用戶是一致的。

2.3負載均衡(Load balancing)
負載均衡集群為企業需求提供了更實用的系統。如名稱所暗示的,
該系統使負載可以在計算機集群中盡可能平均地分攤處理。
該負載可能是需要均衡的應用程序處理負載或網絡流量負載。這樣的系統非常適合于運行同一組應用程序的大量用戶。每個節點都可以處理一部分負載,并且可以在節點之間動態分配負載,以實現平衡。

2.4高性能 (High Performance )
通常,第一種涉及為集群開發并行編程應用程序,以解決復雜的科學問題。這是并行計算的基礎,盡管它不使用專門的并行超級計算機,這種超級計算機內部由十至上萬個獨立處理器組成。但它卻使用商業系統,如通過高速連接來鏈接的一組單處理器或雙處理器 PC,并且在公共消息傳遞層上進行通信以運行并行應用程序。因此,您會常常聽說又有一種便宜的 Linux 超級計算機問世了。但它實際是一個計算機集群,其處理能力與真的超級計算機相等

三、為什么要進行分布式

傳統的項目中,我們將各個模塊放在一個系統中,系統過于龐大,開發維護困難,各個功能模塊之間的耦合度增高,無法針對單個模塊進行優化,也無法進行水平擴展。

四、什么是分布式

分布式是指將多臺服務器集中在一起,
每臺服務器都實現總體中的不同業務,做不同的事情。
并且每臺服務器都缺一不可,如果某臺服務器故障,則網站部分功能缺失,或導致整體無法運行。
存在的主要作用是大幅度的提高效率,緩解服務器的訪問和存儲壓力。

分布式系統.png

注意:該圖中最大特點是:每個Web服務器(Tomcat)程序都負責一個網站中不同的功能,缺一不可。如果某臺服務器故障,則對應的網站功能缺失,也可以導致其依賴功能甚至全部功能都不能夠使用。

五、分布式和集群的關系。

在開發中我們可以將分布式和集群分開嗎?
針對這個問題,我們可以根據分布式的介紹看出,其主要的功能是用了將我們的系統模塊化,將系統進行解耦的,方便我們的維護和開發的,但是其并不能解決我們的并發問題,也無法保證我們的系統在服務器宕機后的正常運轉。

而集群呢?其恰好彌補了分布式的缺陷,
集群,就是多個服務器處理相同的業務,這在一方面可以解決或者說改善我們系統的并發問題,一方面可以解決我們服務器如果出現一定數量的宕機后,系統仍然可以正常運轉。
因此我說,分布式和集群式一堆好基友,誰也離不開誰。。。。

購物商城項目分析.png
image.png

服務器最低配置:
pinyougou項目業務就需要30臺左右的服務器;
工具服務器還要加 zookeeper(3臺) redis(6臺) solr(6臺)
nginx(2臺) activemq(3臺) cas(2臺)
mysql(10臺+)
fastdfs(2臺)
一個pinyougou項目要65臺以上。

測試并發量2000-3000

(接口)單元測試,集成測試
測試服務器:保證測試環境和線上環境是一致的。
git+maven+docker+jekins(持續集成測試環境)
svn+maven+hudson+jekins(持續集成測試環境)

c)責任描述:你干了什么?
i.后臺系統:運營商系統維護
1.商品管理
a)品牌管理
b)規格屬性管理
c)模版維護
d)商品類別維護
e)貨品—商品維護
2,表之間關系
3,權限—spring security實現安全認證
4,活動管理—秒殺活動,團購管理
5,積分管理
ii.報表
1.(今日熱銷商品,周熱銷商品,月銷售情況)
2.今日用戶活躍數
3.周用戶活躍數
4.月用戶活躍數
5.今日銷售金額
6.周銷售金額
7.月銷售金額
8.并發數統計
廣告管理:
1,表設計
2,廣告維護
3,廣告緩存—spring data redis
iii.Poi
iv.后臺系統:商家系統維護
1.商品入駐申請
2.商品審核
3.商家商品維護
4.商品審核上架
搜索: spring data solr
1,主關鍵詞搜索
2,分類搜索
3,屬性搜索
4,價格搜索
5,品牌搜索
6,排序搜索
7,面包屑導航-----數據雙向綁定實現面包屑導航
8,同步索引庫
activeMQ同步索引庫
匹配生成索引庫數據
MQ同步索引庫
消息持久化
消息重發機制
連接池
頁面靜態化技術: 提高訪問速度,提高并發能力
1,freemarker實現頁面靜態化
2,把生成頁面靜態化html直接上傳linux,實現動靜分離
3,linux靜態頁面使用nginx訪問,nginx作為http服務器
4,mq同步靜態頁面(業務流程)

購物車系統:
1,未登錄
2,登錄

訂單系統:
1,提交訂單—把購物車數據保存訂單表
2,生成訂單號
3,生成總金額

支付系統:
微信支付

技術:
1,dubbo+zookeeper實現面向服務分布式架構
2,spring security 安全認證框架
3,spring data redis ---- redis服務器操作
4,spring data solr ------ solr
5,nginx
6,freemarker
7,activeMQ
8,cas 單點登錄框架
9,zookeeper
10,springboot
………

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,501評論 6 544
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,673評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,610評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,939評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,668評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 56,004評論 1 329
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,001評論 3 449
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,173評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,705評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,426評論 3 359
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,656評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,139評論 5 364
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,833評論 3 350
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,247評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,580評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,371評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,621評論 2 380

推薦閱讀更多精彩內容

  • 分布式系統面臨的第一個問題就是數據分布,即將數據均勻地分布到多個存儲節點。另外,為了保證可靠性和可用性,需要將數據...
    olostin閱讀 4,618評論 2 26
  • 關于Mongodb的全面總結 MongoDB的內部構造《MongoDB The Definitive Guide》...
    中v中閱讀 32,001評論 2 89
  • feisky云計算、虛擬化與Linux技術筆記posts - 1014, comments - 298, trac...
    不排版閱讀 3,891評論 0 5
  • Linux服務器集群系統各概念辨析 計算機集群 WEB的負載均衡、集群、高可用解決方案 計算機集群 計算機集群簡稱...
    Zhang21閱讀 3,300評論 0 18
  • 今天是歡慶的一天,我們一起慶祝國慶、中秋。孩子們一個個可謂精心打扮,臉上貼著小國旗,身上穿著漂亮的服飾,手里揮舞著...
    哎喲不錯喲_5594閱讀 174評論 0 0