《大型網(wǎng)站技術(shù)架構(gòu)》

大型互聯(lián)網(wǎng)應(yīng)用有以下特點(diǎn)：

• 高并發(fā)，大流量：日均訪問(wèn)量數(shù)以億計(jì)
• 高可用：24小時(shí)不間斷服務(wù)
• 海量數(shù)據(jù)：存儲(chǔ)，管理海量數(shù)據(jù)
• 用戶分布廣泛，網(wǎng)絡(luò)情況復(fù)雜
• 安全環(huán)境惡劣：容易被攻擊
• 需求快速變更，發(fā)布頻繁
• 漸進(jìn)式發(fā)展：從小型網(wǎng)站慢慢發(fā)展成大型網(wǎng)站

演化過(guò)程

1 初始階段

初始階段.png

應(yīng)用數(shù)據(jù)分離.png

三者分工不同，對(duì)相應(yīng)的數(shù)據(jù)庫(kù)性能要求也不一樣：應(yīng)用程序服務(wù)器處理大量業(yè)務(wù)邏輯，它對(duì)CPU的性能要求較高；數(shù)據(jù)庫(kù)服務(wù)器要快速檢索數(shù)據(jù)和數(shù)據(jù)緩存，因而對(duì)內(nèi)存和硬盤要求較高；文件服務(wù)器要存儲(chǔ)大量文件（用戶上傳的圖片等），要求更大的硬盤容量。

三個(gè)服務(wù)器各司其職，暫時(shí)解決了第一階段的存儲(chǔ)容量問(wèn)題，也提高了并發(fā)處理能力。
3 緩存
隨著用戶的增加，數(shù)據(jù)庫(kù)的壓力越來(lái)越大，用戶的每一次登錄都要訪問(wèn)數(shù)據(jù)庫(kù)，導(dǎo)致響應(yīng)緩慢，影響用戶體驗(yàn)，我們分析發(fā)現(xiàn)：

網(wǎng)站訪問(wèn)特點(diǎn)和現(xiàn)實(shí)世界的財(cái)富分配一樣遵循二八定律：80%的業(yè)務(wù)訪問(wèn)集中在20%的業(yè)務(wù)上

我們只需將這20%的業(yè)務(wù)做一下緩存就可以緩解數(shù)據(jù)庫(kù)壓力大的問(wèn)題。
網(wǎng)站使用的緩存有兩種：1.放在應(yīng)用服務(wù)器上的本地緩存（速度快但是會(huì)占用應(yīng)用程序的內(nèi)存）；2.放在專門的分布式緩存服務(wù)器上的遠(yuǎn)程緩存（可以用多臺(tái)服務(wù)器做集群，實(shí)現(xiàn)大內(nèi)存容量的緩存服務(wù)）。

緩存.png

4 應(yīng)用服務(wù)起集群
此時(shí)的應(yīng)用程序服務(wù)器只有一個(gè)，它能處理的請(qǐng)求連接有限，在網(wǎng)站訪問(wèn)高峰期應(yīng)用程序服務(wù)器的壓力會(huì)很大，導(dǎo)致訪問(wèn)排隊(duì)，響應(yīng)等待時(shí)間長(zhǎng)。于是我們要對(duì)應(yīng)用服務(wù)器做集群，通過(guò)負(fù)載均衡調(diào)度服務(wù)器分發(fā)請(qǐng)求給應(yīng)用程序服務(wù)器，多個(gè)服務(wù)器來(lái)處理請(qǐng)求，每一個(gè)應(yīng)用程序服務(wù)器的壓力都不會(huì)太大。

應(yīng)用服務(wù)器集群.png

5 數(shù)據(jù)庫(kù)讀寫分離
現(xiàn)狀是加完緩存，大部分?jǐn)?shù)據(jù)訪問(wèn)可以不通過(guò)數(shù)據(jù)庫(kù)，但還有少量的數(shù)據(jù)讀?。ㄎ醋骶彺娴臄?shù)據(jù)，緩存過(guò)期和緩存未命中的數(shù)據(jù)）以及全部的數(shù)據(jù)寫入都要訪問(wèn)數(shù)據(jù)庫(kù)。隨著用戶量的增長(zhǎng)，數(shù)據(jù)庫(kù)的壓力越來(lái)越明顯，逐漸成為網(wǎng)站的瓶頸。

目前大部分的主流數(shù)據(jù)庫(kù)都提供主從熱備功能，通過(guò)配置兩臺(tái)數(shù)據(jù)庫(kù)主從關(guān)系，可以將一臺(tái)數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)更新同步到另一臺(tái)服務(wù)器上。網(wǎng)站利用數(shù)據(jù)庫(kù)的這一功能，實(shí)現(xiàn)數(shù)據(jù)庫(kù)讀寫分離，從而改善數(shù)據(jù)庫(kù)負(fù)載壓力。

數(shù)據(jù)庫(kù)讀寫分離.png

應(yīng)用程序的寫操作訪問(wèn)主數(shù)據(jù)庫(kù)服務(wù)器，將數(shù)據(jù)寫入；為保證數(shù)據(jù)一致性，主數(shù)據(jù)庫(kù)通過(guò)主從復(fù)制機(jī)制將數(shù)據(jù)更新同步到從數(shù)據(jù)庫(kù)服務(wù)器；應(yīng)用程序的讀取數(shù)據(jù)訪問(wèn)從數(shù)據(jù)庫(kù)服務(wù)器就可以獲取。

為了便于應(yīng)用程序訪問(wèn)讀寫分離后的數(shù)據(jù)庫(kù)，通常在應(yīng)用服務(wù)器端使用專門的數(shù)據(jù)訪問(wèn)模塊，是數(shù)據(jù)庫(kù)讀寫分離對(duì)應(yīng)用透明。

6 反向代理和CDN
為了讓網(wǎng)絡(luò)環(huán)境不是很好的區(qū)域的用戶也能很好的訪問(wèn)我們的網(wǎng)站，網(wǎng)站需要加速網(wǎng)站的訪問(wèn)速度，此時(shí)就會(huì)用到反向代理和CDN。

CDN和反向代理.png

CDN和反向代理的基本原理都是緩存，區(qū)別在于CDN部署在網(wǎng)絡(luò)提供商的機(jī)房，使用戶在請(qǐng)求網(wǎng)站服務(wù)是，可以從距離自己最近的網(wǎng)絡(luò)提供商機(jī)房獲取數(shù)據(jù)；而反向代理則部署在網(wǎng)站的中心機(jī)房，當(dāng)用戶請(qǐng)求到達(dá)中心機(jī)房后，首先訪問(wèn)的服務(wù)器是反向代理服務(wù)器，如果反向代理服務(wù)器中緩存這用戶請(qǐng)求的資源，就將其直接返回給用戶。

這一階段的目的就是盡快將數(shù)據(jù)返回給用戶，此時(shí)的架構(gòu)一方面加快了用戶的訪問(wèn)速度，另一方面也緩解了后端服務(wù)器的負(fù)載壓力。
7 分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)
當(dāng)業(yè)務(wù)發(fā)展到一定程度，數(shù)據(jù)量十分龐大的時(shí)候，兩臺(tái)數(shù)據(jù)庫(kù)服務(wù)器已經(jīng)無(wú)法滿足需求，此時(shí)要做分布式數(shù)據(jù)庫(kù)和分布式文件系統(tǒng)。
將數(shù)據(jù)庫(kù)按照業(yè)務(wù)進(jìn)行拆分，將不同業(yè)務(wù)的數(shù)據(jù)庫(kù)部署在不同的物理服務(wù)器上。

分布式數(shù)據(jù)庫(kù)&分布式文件系統(tǒng).png

8 NoSql和搜索引擎
隨著業(yè)務(wù)越來(lái)越復(fù)雜，對(duì)數(shù)據(jù)的存儲(chǔ)和檢索的需求也變得復(fù)雜起來(lái)，此時(shí)需要使用非關(guān)系數(shù)據(jù)技術(shù)（如NoSql）和非數(shù)據(jù)庫(kù)查詢技術(shù)（如搜索引擎）來(lái)幫忙。

NoSql和搜索引擎.png

NoSql和搜索引擎都是源自互聯(lián)網(wǎng)的 技術(shù)手段，對(duì)可伸縮的分布式特性具有更好的支持。

9 業(yè)務(wù)拆分
為應(yīng)對(duì)日益復(fù)雜的業(yè)務(wù)場(chǎng)景，將網(wǎng)站以業(yè)務(wù)為模塊進(jìn)行拆分然后交給不同的業(yè)務(wù)團(tuán)隊(duì)負(fù)責(zé)管理，達(dá)到分治的目的。
具體來(lái)說(shuō)就是將應(yīng)用服務(wù)依業(yè)務(wù)拆分成一個(gè)個(gè)小系統(tǒng)（包括商品管理系統(tǒng)，支付系統(tǒng)，訂單系統(tǒng)等），然后每個(gè)系統(tǒng)獨(dú)立部署維護(hù)。各系統(tǒng)之間通過(guò)超鏈接建立聯(lián)系，也可以通過(guò)消息隊(duì)列進(jìn)行數(shù)據(jù)分發(fā)。但都會(huì)訪問(wèn)同一個(gè)數(shù)據(jù)存儲(chǔ)系統(tǒng)來(lái)構(gòu)成一個(gè)完整的網(wǎng)站系統(tǒng)。

業(yè)務(wù)拆分.png

10 分布式服務(wù)
上一階段每個(gè)業(yè)務(wù)系統(tǒng)都訪問(wèn)數(shù)據(jù)庫(kù)資源，隨著業(yè)務(wù)發(fā)展必然會(huì)導(dǎo)致數(shù)據(jù)庫(kù)資源不足，系統(tǒng)的維護(hù)也更加困難。分析發(fā)現(xiàn)有很多公共業(yè)務(wù)（如 用戶管理，商品管理等），將其提取出來(lái)做成公共服務(wù)，可以有效緩解上一階段造成的問(wèn)題。

分布式服務(wù).png

此時(shí)的網(wǎng)站總體架構(gòu)：

網(wǎng)站架構(gòu).png

網(wǎng)站架構(gòu)演化的價(jià)值觀

• 大型網(wǎng)站架構(gòu)技術(shù)的核心價(jià)值是隨網(wǎng)站所需靈活應(yīng)對(duì)（LAMP技術(shù)開發(fā)小 網(wǎng)站足夠，隨著業(yè)務(wù)逐步發(fā)展演化）
• 驅(qū)動(dòng)大型網(wǎng)站技術(shù)發(fā)展的主要力量是業(yè)務(wù)發(fā)展（高并發(fā)，多用戶驅(qū)動(dòng)集群和分布式）

網(wǎng)站架構(gòu)設(shè)計(jì)誤區(qū)

• 一味追隨大公司的解決方案（可以學(xué)習(xí)借鑒，但不要盲從）
• 為了技術(shù)而技術(shù)（業(yè)務(wù)為主，技術(shù)為輔）
• 企圖用技術(shù)解決所有問(wèn)題（業(yè)務(wù)問(wèn)題要從業(yè)務(wù)的調(diào)整來(lái)解決）