借助Nginx搭建反向代理服務(wù)器

借助Nginx搭建反向代理服務(wù)器

【大型網(wǎng)站技術(shù)實踐】初級篇:借助Nginx搭建反向代理服務(wù)器

一、反向代理:Web服務(wù)器的“經(jīng)紀(jì)人”

1.1 反向代理初印象
反向代理(Reverse Proxy)方式是指以代理服務(wù)器來接受internet上的連接請求,然后將請求轉(zhuǎn)發(fā)給內(nèi)部網(wǎng)絡(luò)上的服務(wù)器,并將從服務(wù)器上得到的結(jié)果返回給internet上請求連接的客戶端,此時代理服務(wù)器對外就表現(xiàn)為一個服務(wù)器。

從上圖可以看出:反向代理服務(wù)器位于網(wǎng)站機(jī)房,代理網(wǎng)站W(wǎng)eb服務(wù)器接收Http請求,對請求進(jìn)行轉(zhuǎn)發(fā)。

1.2 反向代理的作用
  ①保護(hù)網(wǎng)站安全:任何來自Internet的請求都必須先經(jīng)過代理服務(wù)器;

②通過配置緩存功能加速Web請求:可以緩存真實Web服務(wù)器上的某些靜態(tài)資源,減輕真實Web服務(wù)器的負(fù)載壓力;

③實現(xiàn)負(fù)載均衡:充當(dāng)負(fù)載均衡服務(wù)器均衡地分發(fā)請求,平衡集群中各個服務(wù)器的負(fù)載壓力;

  

lb

二、初識Nginx:簡單卻不平凡

2.1 Nginx是神馬?

Nginx是一款輕量級的網(wǎng)頁服務(wù)器、反向代理器以及電子郵件代理服務(wù)器。其將源代碼以類BSD許可證的形式發(fā)布,因它的穩(wěn)定性、豐富的功能集、示例配置文件和低系統(tǒng)資源的消耗而聞名。

Source:Nginx(發(fā)音同engine x),它是由俄羅斯程序員Igor Sysoev所開發(fā)的。起初是供俄國大型的門戶網(wǎng)站及搜索引擎Rambler(俄語:Рамблер)使用。此軟件BSD-like協(xié)議下發(fā)行,可以在UNIX、GNU/Linux、BSD、Mac OS X、Solaris,以及Microsoft Windows等操作系統(tǒng)中運行。

說到Web服務(wù)器,Apache服務(wù)器和IIS服務(wù)器是兩大巨頭;但是運行速度更快、更靈活的對手:Nginx 正在迎頭趕上。

2.2 Nginx的應(yīng)用現(xiàn)狀
  Nginx 已經(jīng)在俄羅斯最大的門戶網(wǎng)站── Rambler Media(www.rambler.ru)上運行了3年時間,同時俄羅斯超過20%的虛擬主機(jī)平臺采用Nginx作為反向代理服務(wù)器。

在國內(nèi),已經(jīng)有 淘寶、新浪博客、新浪播客、網(wǎng)易新聞、六間房、56.com、Discuz!、水木社區(qū)、豆瓣、YUPOO、海內(nèi)、迅雷在線 等多家網(wǎng)站使用 Nginx 作為Web服務(wù)器或反向代理服務(wù)器。

2.3 Nginx的核心特點
  (1)跨平臺:Nginx 可以在大多數(shù) Unix like OS編譯運行,而且也有Windows的移植版本;

(2)配置異常簡單:非常容易上手。配置風(fēng)格跟程序開發(fā)一樣,神一般的配置;

(3)非阻塞、高并發(fā)連接:數(shù)據(jù)復(fù)制時,磁盤I/O的第一階段是非阻塞的。官方測試能夠支撐5萬并發(fā)連接,在實際生產(chǎn)環(huán)境中跑到2~3萬并發(fā)連接數(shù)。(這得益于Nginx使用了最新的epoll模型);

PS:對于一個Web服務(wù)器來說,首先看一個請求的基本過程:建立連接---接收數(shù)據(jù)---發(fā)送數(shù)據(jù),在系統(tǒng)底層看來 :上述過程(建立連接---接收數(shù)據(jù)---發(fā)送數(shù)據(jù))在系統(tǒng)底層就是讀寫事件。

如果采用阻塞調(diào)用的方式,當(dāng)讀寫事件沒有準(zhǔn)備好時,必然不能夠進(jìn)行讀寫事件,那么久只好等待,等事件準(zhǔn)備好了,才能進(jìn)行讀寫事件,那么請求就會被耽擱 。

既然沒有準(zhǔn)備好阻塞調(diào)用不行,那么采用非阻塞調(diào)用方式。非阻塞就是:事件馬上返回,告訴你事件還沒準(zhǔn)備好呢,你慌什么,過會再來吧。好吧,你過一會,再來檢查一下事件,直到事件準(zhǔn)備好了為止,在這期間,你就可以先去做其它事情,然后再來看看事件好了沒。雖然不阻塞了,但你得不時地過來檢查一下事件的狀態(tài),你可以做更多的事情了,但帶來的開銷也是不小的。

(4)事件驅(qū)動:通信機(jī)制采用epoll模型,支持更大的并發(fā)連接。

①非阻塞通過不斷檢查事件的狀態(tài)來判斷是否進(jìn)行讀寫操作,這樣帶來的開銷很大,因此就有了異步非阻塞的事件處理機(jī)制。這種機(jī)制讓你可以同時監(jiān)控多個事件,調(diào)用他們是阻塞的,但可以設(shè)置超時時間,在超時時間之內(nèi),如果有事件準(zhǔn)備好了,就返回。這種機(jī)制解決了上面阻塞調(diào)用與非阻塞調(diào)用的兩個問題。

②以epoll模型為例:當(dāng)事件沒有準(zhǔn)備好時,就放入epoll(隊列)里面。如果有事件準(zhǔn)備好了,那么就去處理;如果事件返回的是EAGAIN,那么繼續(xù)將其放入epoll里面。從而,只要有事件準(zhǔn)備好了,我們就去處理它,只有當(dāng)所有事件都沒有準(zhǔn)備好時,才在epoll里面等著。這樣,我們就可以并發(fā)處理大量的并發(fā)了,當(dāng)然,這里的并發(fā)請求,是指未處理完的請求,線程只有一個,所以同時能處理的請求當(dāng)然只有一個了,只是在請求間進(jìn)行不斷地切換而已,切換也是因為異步事件未準(zhǔn)備好,而主動讓出的。這里的切換是沒有任何代價,你可以理解為循環(huán)處理多個準(zhǔn)備好的事件,事實上就是這樣的。

③與多線程方式相比,這種事件處理方式是有很大的優(yōu)勢的,不需要創(chuàng)建線程,每個請求占用的內(nèi)存也很少,沒有上下文切換,事件處理非常的輕量級,并發(fā)數(shù)再多也不會導(dǎo)致無謂的資源浪費(上下文切換)。對于IIS服務(wù)器,每個請求會獨占一個工作線程,當(dāng)并發(fā)數(shù)上到幾千時,就同時有幾千的線程在處理請求了。這對操作系統(tǒng)來說,是個不小的挑戰(zhàn):因為線程帶來的內(nèi)存占用非常大,線程的上下文切換帶來的cpu開銷很大,自然性能就上不去,從而導(dǎo)致在高并發(fā)場景下性能下降嚴(yán)重。

總結(jié):通過異步非阻塞的事件處理機(jī)制,Nginx實現(xiàn)由進(jìn)程循環(huán)處理多個準(zhǔn)備好的事件,從而實現(xiàn)高并發(fā)和輕量級。

(5)Master/Worker結(jié)構(gòu):一個master進(jìn)程,生成一個或多個worker進(jìn)程。

PS:Master-Worker設(shè)計模式核心思想是將原來串行的邏輯并行化,并將邏輯拆分成很多獨立模塊并行執(zhí)行。其中主要包含兩個主要組件Master和Worker,Master主要將邏輯進(jìn)行拆分,拆分為互相獨立的部分,同時維護(hù)了Worker隊列,將每個獨立部分下發(fā)到多個Worker并行執(zhí)行,Worker主要進(jìn)行實際邏輯計算,并將結(jié)果返回給Master。

:nginx采用這種進(jìn)程模型有什么好處?

:采用獨立的進(jìn)程,可以讓互相之間不會影響,一個進(jìn)程退出后,其它進(jìn)程還在工作,服務(wù)不會中斷,Master進(jìn)程則很快重新啟動新的Worker進(jìn)程。當(dāng)然,Worker進(jìn)程的異常退出,肯定是程序有bug了,異常退出,會導(dǎo)致當(dāng)前Worker上的所有請求失敗,不過不會影響到所有請求,所以降低了風(fēng)險。

(6)內(nèi)存消耗小:處理大并發(fā)的請求內(nèi)存消耗非常小。在3萬并發(fā)連接下,開啟的10個Nginx 進(jìn)程才消耗150M內(nèi)存(15M*10=150M)。

(7)內(nèi)置的健康檢查功能:如果 Nginx 代理的后端的某臺 Web 服務(wù)器宕機(jī)了,不會影響前端訪問。

(8)節(jié)省帶寬:支持 GZIP 壓縮,可以添加瀏覽器本地緩存的 Header 頭。

(9)穩(wěn)定性高:用于反向代理,宕機(jī)的概率微乎其微。

三、構(gòu)建實戰(zhàn):Nginx+IIS構(gòu)筑Web服務(wù)器集群的負(fù)載均衡

這里我們主要在Windows環(huán)境下,通過將同一個Web網(wǎng)站部署到不同服務(wù)器的IIS上,再通過一個統(tǒng)一的Nginx反響代理服務(wù)器對外提供統(tǒng)一訪問接入,實現(xiàn)一個最簡化的反向代理和負(fù)載均衡服務(wù)。但是,受限于實驗條件,我們這里主要在一臺計算機(jī)上進(jìn)行反向代理、IIS集群的模擬,具體的實驗環(huán)境如下圖所示:我們將nginx服務(wù)和web網(wǎng)站都部署在一臺計算機(jī)上,nginx監(jiān)聽http80端口,而web網(wǎng)站分別以不同的端口號(這里是8050及8060)部署在同一個IIS服務(wù)器上,用戶訪問localhost時,nginx作為反向代理將請求均衡地轉(zhuǎn)發(fā)給兩個IIS中不同端口的Web應(yīng)用程序進(jìn)行處理。雖然實驗環(huán)境很簡單而且有限,但是對于一個簡單的負(fù)載均衡效果而言,本文是可以達(dá)到并且展示的。

 

3.1 準(zhǔn)備一個ASP.NET網(wǎng)站部署到IIS服務(wù)器集群中
  (1)在VS中新建一個ASP.NET Web應(yīng)用程序,但是為了在一臺計算機(jī)上展示效果,我們將這個Web程序復(fù)制一份,并修改兩個Web程序的Default.aspx,讓其的首頁顯示不同的一點信息。這里Web1展示的是“The First Web:”,而Web2展示的則是“The Second Web”。

(2)調(diào)試運行,看看兩個網(wǎng)站的效果如何?

①Web1的展示效果:


②Web2的展示效果:

③部署到IIS中,分配不同的端口號:這里我選擇了Web1:8050,Web2:8060

(3)總結(jié):在真實環(huán)境中,構(gòu)建Web應(yīng)用服務(wù)器集群的實現(xiàn)是將同一個Web應(yīng)用程序部署到Web服務(wù)器集群中的多個Web服務(wù)器上。

3.2 下載Nginx并部署到服務(wù)器中作為自啟動的Windows服務(wù)
  (1)到Nginx官網(wǎng)下載Nginx的Windows版本:http://nginx.org/en/download.html(這里我們使用nginx/Windows-1.4.7版本進(jìn)行實驗,本文底部有下載地址)

(2)解壓到磁盤任意目錄,例如這里我解壓到了:D:\Servers\nginx-1.4.7

(3)啟動、停止和重新加載服務(wù):通過cmd以守護(hù)進(jìn)程方式啟動nginx.exe:start nginx.exe,停止服務(wù):nginx -s stop,重新加載配置:nginx -s reload

(4)每次以cmd方式啟動Nginx服務(wù)不符合實際要求,于是我們想到將其注冊為Windows服務(wù),并設(shè)置為自動啟動模式。這里,我們使用一個不錯的小程序:“Windows Service Wrapper”,將nginx.exe注冊為Windows服務(wù),具體的步湊如下:

①下載最新版的 Windows Service Wrapper 程序,比如我下載的名稱是 "winsw-1.8-bin.exe"(本文底部有下載地址),然后把它命名成你想要的名字(比如: "nginx-service.exe",當(dāng)然,你也可以不改名)

②將重命名后的 nginx-service.exe 復(fù)制到 nginx 的安裝目錄(比如,我這里是 "D:\Servers\nginx-1.4.7")

③在同一個目錄下創(chuàng)建一個Windows Service Wrapper 的XML配置文件,名稱必須與第一步重命名時使用的名稱一致(比如我這里是 "nginx-service.xml", 如果,你沒有重命名,則應(yīng)該是 "winsw-1.8-bin.xml"),這個XML的內(nèi)容如下:

<?xml version="1.0" encoding="UTF-8" ?>
<service>
<id>nginx</id>
<name>Nginx Service</name>
<description>High Performance Nginx Service</description>
<executable>D:\Servers\nginx-1.4.7\nginx.exe</executable>
<logpath>D:\Servers\nginx-1.4.7\</logpath>
<logmode>roll</logmode>
<depend></depend>
<startargument>-p D:\Servers\nginx-1.4.7</startargument>
<stopargument>-p D:\Servers\nginx-1.4.7 -s stop</stopargument>
</service>

④在命令行下執(zhí)行以下命令,以便將其注冊成Windows服務(wù):nginx-service.exe install

⑤接下來就可以在Windows服務(wù)列表看到Nginx服務(wù)了,這里我們可以將其設(shè)置為自動啟動了:

(5)總結(jié):在Windows環(huán)境中,要對外提供的Windows服務(wù)一般都要將其啟動類型設(shè)置為自動。

3.3 修改Nginx核心配置文件nginx.conf

(1)進(jìn)程數(shù)與每個進(jìn)程的最大連接數(shù):

?nginx進(jìn)程數(shù),建議設(shè)置為等于CPU總核心數(shù)
    
    ?單個進(jìn)程最大連接數(shù),那么該服務(wù)器的最大連接數(shù)=連接數(shù)*進(jìn)程數(shù)

(2)Nginx的基本配置:

?監(jiān)聽端口一般都為http端口:80;
    ?域名可以有多個,用空格隔開:例如 server_name www.ha97.com ha97.com;


  (3)負(fù)載均衡列表基本配置:

?location / {}:對aspx后綴的進(jìn)行負(fù)載均衡請求,假如我們要對所有的aspx后綴的文件進(jìn)行負(fù)載均衡時,可以這樣寫:location ~ .*.aspx$ {}

?proxy_pass:請求轉(zhuǎn)向自定義的服務(wù)器列表,這里我們將請求都轉(zhuǎn)向標(biāo)識為http://cuitccol.com的負(fù)載均衡服務(wù)器列表;


    ?在負(fù)載均衡服務(wù)器列表的配置中,weight是權(quán)重,可以根據(jù)機(jī)器配置定義權(quán)重(如果某臺服務(wù)器的硬件配置十分好,可以處理更多的請求,那么可以為其設(shè)置一個比較高的weight;而有一臺的服務(wù)器的硬件配置比較差,那么可以將前一臺的weight配置為weight=2,后一臺差的配置為weight=1)。weigth參數(shù)表示權(quán)值,權(quán)值越高被分配到的幾率越大;

(4)總結(jié):最基本的Nginx配置差不多就是上面這些內(nèi)容,當(dāng)然僅僅是最基礎(chǔ)的配置。(詳細(xì)的配置內(nèi)容請下載底部的nginx-1.4.7詳細(xì)查看)

3.4 添加Nginx對于靜態(tài)文件的緩存配置
  為了提高響應(yīng)速度,減輕真實服務(wù)器的負(fù)載,對于靜態(tài)資源我們可以在反向代理服務(wù)器中進(jìn)行緩存,這也是反向代理服務(wù)器的一個重要的作用。

(1)緩存靜態(tài)資源之圖片文件

root /nginx-1.4.7/staticresources/image:對于配置中提到的jpg/png等文件均定為到/nginx-1.4.7/staticresources/image文件夾中進(jìn)行尋找匹配并將文件返回;

expires 7d:過期時效為7天,靜態(tài)文件不怎么更新,過期時效可以設(shè)大一點,如果頻繁更新,則可以設(shè)置得小一點;

TIPS:下面的樣式、腳本緩存配置同這里一樣,只是定位的文件夾不一樣而已,不再贅述。

(2)緩存靜態(tài)資源之樣式文件

(3)緩存靜態(tài)資源之腳本文件

(4)在nginx服務(wù)文件夾中創(chuàng)建靜態(tài)資源文件夾,并要緩存的靜態(tài)文件拷貝進(jìn)去:這里我主要將Web程序中用到的image、css以及js文件拷貝了進(jìn)去;

(5)總結(jié):通過配置靜態(tài)文件的緩存設(shè)置,對于這些靜態(tài)文件的請求可以直接從反向代理服務(wù)器中直接返回,而無需再將這些靜態(tài)資源請求轉(zhuǎn)發(fā)到具體的Web服務(wù)器進(jìn)行處理了,可以提高響應(yīng)速度,減輕真實Web服務(wù)器的負(fù)載壓力。

學(xué)習(xí)小結(jié)

在本文中,借助了Nginx這個神器簡單地在Windows環(huán)境下搭建了一個反向代理服務(wù),并模擬了一個IIS服務(wù)器集群的負(fù)載均衡效果。從這個DEMO中,我們可以簡單地感受到反向代理為我們所做的事情,并體會負(fù)載均衡是怎么一回事。但是,在目前大多數(shù)的應(yīng)用中,都會將Nginx部署在Linux服務(wù)器中,并且會做一些針對負(fù)載均衡的優(yōu)化配置,這里我們所做的僅僅就是一個小小的使用而已(just修改一下配置文件)。不過,萬丈高樓平地起,前期的小小體會,也會幫助我們向后期的深入學(xué)習(xí)奠定一點點的基礎(chǔ)。

參考資料

(1)丁胖胖,《圖解正向代理、反向代理與透明代理》:http://z00w00.blog.51cto.com/515114/1031287

(2)特種兵-AK47,《正向代理與反向代理的區(qū)別》:http://blog.csdn.net/m13666368773/article/details/8060481

(3)百度百科,Nginx:http://baike.baidu.com/view/926025.htm?fr=aladdin

(4)51CTO,《Nginx安裝配置與服務(wù)搭建專題》:http://os.51cto.com/art/201111/304611.htm

(5)紅黑聯(lián)盟,《Nginx配置文件nginx.conf中文詳解總結(jié)》:http://www.2cto.com/os/201212/176520.html

(6)360doc,《Linux下同步模式、異步模式、阻塞調(diào)用與非阻塞調(diào)用總結(jié)》:http://www.360doc.com/content/13/0117/12/5073814_260691714.shtml (好文一篇,值得閱讀)

(7)e路相扶,《同步、異步、阻塞與非阻塞》:http://www.cnblogs.com/zhangjun516/archive/2013/04/17/3025902.html

(8)feitianxuxue,《處理大并發(fā)之對異步非阻塞的理解》:http://blog.csdn.net/feitianxuxue/article/details/8936802

附件下載

(1)nginx-1.4.7:http://pan.baidu.com/s/1dD2C2zB

(2)winsw-1.8-bin.exe:http://pan.baidu.com/s/1kTihzk7

(3)SimpleNginxDemo:http://pan.baidu.com/s/1bnq5oYz

原文鏈接

http://www.cnblogs.com/edisonchou/p/4126742.html

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,835評論 6 534
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,676評論 3 419
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,730評論 0 380
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,118評論 1 314
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 71,873評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,266評論 1 324
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,330評論 3 443
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,482評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,036評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 40,846評論 3 356
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,025評論 1 371
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,575評論 5 362
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 44,279評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,684評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,953評論 1 289
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,751評論 3 394
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 48,016評論 2 375

推薦閱讀更多精彩內(nèi)容