一個相對完整的服務部署方案至少應該考慮以下幾方面問題:
橫向擴展能力
合理的負載分配策略
服務節點異常的處理
傳統的服務器主從結構因為在橫向擴展能力上的局限性,現已不再采用。目前推薦的的集群部署均采用Nginx做為前端服務器+負載均衡器的方式。
Nginx 做為前端服務器,可以起到以下主要作用:
??????1) 靜態資源請求分流
?????????????由于Nginx對于靜態資源的處理速度遠遠大于tomcat, weblogic等主流應用服務器,把所有靜態資源請求讓Nginx進行處理可以在很大程度上減輕后端服務器的壓力,從而將后端服務器處理資源盡可能的用于需要計算的請求,進而加快相應速度。
???????2)基于策略的負載均衡
?????????????Nginx可以靈活的跟據實際場景設置負載分發方式,即便后端服務器資源不平衡,也可以根據根據策略為不同集群后端實例施加不相等,但是合理的負載。
??????3)抗并發
Nginx采用異步非阻塞處理模型(epoll),在占用內存極低的情況下,默認配置就可支持15000并發請求,在經過適當優化的情況下 (非nginx 集群),甚至能夠處理超過50000并發請求。(單個tomcat在處理超過300并發請求的情況下就會出現明顯延遲)。
?注:Nginx epoll模型實現不支持windows平臺
????????4)為熱部署/滾動部署提供可能性
?????????????Nginx本身支持熱部署,改動配置只需刷新就能生效,這樣可以非常容易的實現熱部署。
想了解更多關于Nginx? 點這里
?????????????如果簡單的按照策略分發請求,而不對session做分布式處理的話,就會出現session在某個集群節點上找不到的情況。舉個例子:
?????????????集群有2個節點 N1和N2, 如果分發策略是承擔50%的負載,具體請求隨機分發, 那么就會出現用戶登陸請求由N1處理,對應session由N1創建,N1保管, 那么當后續請求被派發到N2的時候,N2就會出現找不到session的情況,報session time out.
?????????????目前對于此問題有兩種解決方案:
???????????????粘性session要求Nginx將來自于同一客戶端的請求分發到同一個集群實例,這樣可以大大簡化應用程序對于集群部署環境進行特殊實現的難度。(不需要分布式處理session和緩存)。 但是這樣的方案在需要熱部署或者對于集群容錯性要求很高的場景下,并不能滿足需要。
????????????????分布式session使用高性能的內存存儲服務,如:Redus, Memcache,集中化的存儲session數據,集群實例總是從session存儲服務中取得session數據,這樣可以避免無法找到session的情況。 此方案需要修改session存儲實現,并且因為網間訪問在效率上相比內存直接存取有數量級的差別,所以會造成一定的效率下降,并且,集中化session存儲會帶來單點失敗的問題,將session存儲集群化可以解決,但明顯加大了部署的復雜性。
???目前框架只支持粘性session的解決方案,如果特定項目對服務的不間斷性和容錯性有很高的要求,可以聯系研發部提供分布式session的解決方案。
????????????對于需要在集群實例間共享訪問的資源 (如用戶上傳的圖片,文件),必須集中化管理,否則會出現資源無法找到的錯誤
????????????在使用以上部署架構以后,因為應用服務的橫向擴展能力大大增強(增加集群實例個數會立即提高集群處理能力), DB服務器的處理能力需要被密切關注,否則很容易成為整個集群性能最大的瓶頸。 通常來說,增加硬件,或者集群化DB是首先想到的最快速的解決方案。
1) 下載Nginx?1.14.0?(穩定版)
??????????????2)安裝
?????????????????[root@localhost local]# pwd??????????? //顯示nginx壓縮包所在路徑
??????????????????/usr/local
??????????????????[root@localhost local]# ls????????? //查看壓縮包
? ? ? ? ? ? ? ? ? nginx-1.14.0.tar.gz?
?????????????????[root@localhost local]# tar -zxvf nginx-1.14.0.tar.gz?? //解壓
?????????????????[root@localhost nginx-1.14.0]# make && make install?? //進入到nginx解壓文件中執行該命令,進行編譯、安裝。
?????????????????[root@localhost nginx]# cd sbin/???????????????? //進入到sbin目錄
? ? ? ? ? ? ? ? [root@localhost sbin]# ./nginx? ? ? ? ? ? ? ? ? //啟動nginx
?????????????????
??????????????從瀏覽器訪問我們配置的站點ip:
?
???????[root@localhost /]# vim /usr/local/nginx/conf/nginx.conf ????????????????//編輯配置文件
#設定http服務器,利用它的反向代理功能提供負載均衡支持
http {
#設定mime類型,類型由mime.type文件定義
include?????? /etc/nginx/mime.types;
default_type? application/octet-stream;
#設定日志格式
access_log??? /var/log/nginx/access.log;
#開啟gzip壓縮
gzip? on;
gzip_disable "MSIE [1-6]\.(?!.*SV1)";
????#設定負載均衡的服務器列表
upstream webapp {
#weigth參數表示權值,權值越高被分配到的幾率越大
server? 192.168.0.112:8081 weight=4;
server? 192.168.0.129:8082 weight=3;
server? 192.168.0.130:8083 weight=3;
ip_hash;?? #粘性session
}
#第一個虛擬服務器
server {
#偵聽192.168.8.x的80端口
listen?????? 80;
server_name? 192.168.8.x;
location / {
proxy_pass http://webapp;???????????? #請求轉向mysvr 定義的服務器列表
proxy_next_upstream http_502 http_504 error timeout invalid_header;??? #錯誤界面
proxy_set_header Host $host;????????? ????#后端的Web服務器可以通過X-Forwarded-For獲取用戶真實IP
proxy_set_header X-Forwarded-For $remote_addr;
}
}
}??
?????????????1) 創建資源目錄
??????????????[root@localhost /]# mkdir? /usr/webserver/static/ROOT/ ??????????????//創建資源目錄
??2)配置資源請求
?????????????[root@localhost /]# vim /usr/local/nginx/conf/nginx.conf ????????????????//編輯配置文件
???????????????location /images/ {????????????????????????????????? //配置所有請求為../images的默認請求到/usr/webserver/static/ROOT/WEB-INF/目錄
??????????????????????????????????????alias?? ??/usr/webserver/static/ROOT/WEB-INF/;????????
??????????????????????????????????????autoindex on;
????????????????}
?????????????location /css/ {??????????????? ????????????//配置所有請求為../css的默認請求到 /usr/webserver/static/ROOT/WEB-INF/css/目錄
????????????????????????????????alias? /usr/webserver/static/ROOT/WEB-INF/css/;
??????????????????????????????autoindex on;
????????}
????????在多臺后臺服務器的環境下,我們為了確保一個客戶只和一臺服務器通信,我們勢必使用長連接。使用什么方式來實現這種連接?? 呢,常見的有使用nginx自帶的ip_hash和jvm_route兩種方式來進行配置。
?????1)ip_hash
???????????nginx中的ip_hash技術能夠將某個ip的請求定向到同一臺后端,這樣一來這個ip下的某個客戶端和某個后端就能建立起穩固的? session,ip_hash是在upstream配置中定義的:?
upstream backend {
server 192.168.12.10:8080 ;
server 192.168.12.11:9090 ;
ip_hash;
}
2) nginx_upstream_jvm_route
1/ nginx_upstream_jvm_route安裝
下載地址(svn):http://nginx-upstream-jvm-route.googlecode.com/svn/trunk/
假設nginx_upstream_jvm_route下載后的路徑為/usr/local/nginx_upstream_jvm_route,
(1)進入nginx源碼路徑
patch -p0 < /usr/local/nginx_upstream_jvm_route/jvm_route.patch
(2)./configure? --with-http_stub_status_module --with-http_ssl_module --prefix=/usr/local/nginx --with-pcre=/usr/local/pcre-8.33 --add-module=/usr/local/nginx_upstream_jvm_route
(3)make & make install
2/ nginx配置
upstream? tomcats_jvm_route
{
# ip_hash;
server?? 192.168.33.10:8090 srun_id=tomcat01;
server?? 192.168.33.11:8090 srun_id=tomcat02;
jvm_route $cookie_JSESSIONID|sessionid reverse;
}
?3/ tomcat配置
修改192.168.33.10:8090tomcat的server.xml,
將?
<Engine name="Catalina" defaultHost="localhost" >?
修改為:
<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat01">?
?同理,在192.168.33.11:8090server.xml中增加jvmRoute="tomcat02"。
#運行用戶
user www-data;
#啟動進程,通常設置成和cpu的數量相等
worker_processes? 1;
#全局錯誤日志及PID文件
error_log? /var/log/nginx/error.log;
pid??????? /var/run/nginx.pid;
#工作模式及連接數上限
events {
use?? epoll;???????????? #epoll是多路復用IO(I/O Multiplexing)中的一種方式,但是僅用于linux2.6以上內核,可以大大提高nginx的性能
worker_connections? 1024;#單個后臺worker process進程的最大并發鏈接數
# multi_accept on;
}
#設定http服務器,利用它的反向代理功能提供負載均衡支持
http {
#設定mime類型,類型由mime.type文件定義
include?????? /etc/nginx/mime.types;
default_type? application/octet-stream;
#設定日志格式
access_log??? /var/log/nginx/access.log;
#sendfile 指令指定 nginx 是否調用 sendfile 函數(zero copy 方式)來輸出文件,對于普通應用,
#必須設為 on,如果用來進行下載等應用磁盤IO重負載應用,可設置為 off,以平衡磁盤與網絡I/O處理速度,降低系統的uptime.
sendfile??????? on;
#tcp_nopush???? on;
#連接超時時間
#keepalive_timeout? 0;
keepalive_timeout? 65;
tcp_nodelay??????? on;
#開啟gzip壓縮
gzip? on;
gzip_disable "MSIE [1-6]\.(?!.*SV1)";
#設定請求緩沖
client_header_buffer_size??? 1k;
large_client_header_buffers? 4 4k;
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
#設定負載均衡的服務器列表
upstream mysvr {
#weigth參數表示權值,權值越高被分配到的幾率越大
#本機上的Squid開啟3128端口
server 192.168.8.1:3128 weight=5;
server 192.168.8.2:80? weight=1;
server 192.168.8.3:80? weight=6;
}
server {
#偵聽80端口
listen?????? 80;
#定義使用www.xx.com訪問
server_name? www.xx.com;
#設定本虛擬主機的訪問日志
access_log? logs/www.xx.com.access.log? main;
#默認請求
location / {
root?? /root;????? #定義服務器的默認網站根目錄位置
index index.php index.html index.htm;?? #定義首頁索引文件的名稱
fastcgi_pass? www.xx.com;
fastcgi_param? SCRIPT_FILENAME? $document_root/$fastcgi_script_name;
include /etc/nginx/fastcgi_params;
}
# 定義錯誤提示頁面
error_page?? 500 502 503 504 /50x.html;
location = /50x.html {
root?? /root;
}
#靜態文件,nginx自己處理
location ~ ^/(images|javascript|js|css|flash|media|static)/ {
root /var/www/virtual/htdocs;
#過期30天,靜態文件不怎么更新,過期可以設大一點,如果頻繁更新,則可以設置得小一點。
expires 30d;
}
#PHP 腳本請求全部轉發到 FastCGI處理. 使用FastCGI默認配置.
location ~ \.php$ {
root /root;
fastcgi_pass 127.0.0.1:9000;
fastcgi_index index.php;
fastcgi_param SCRIPT_FILENAME /home/www/www$fastcgi_script_name;
include fastcgi_params;
}
#設定查看Nginx狀態的地址
location /NginxStatus {
stub_status??????????? on;
access_log????????????? on;
auth_basic????????????? "NginxStatus";
auth_basic_user_file? conf/htpasswd;
}
#禁止訪問 .htxxx 文件
location ~ /\.ht {
deny all;
}
}
}
????????配置靜態資源服務器的話,就是把一部分請求分離出來,讓這些請求直接訪問到服務器的磁盤目錄中。
例如配置如下:
指定路徑對應的目錄。location可以使用正則表達式匹配。并指定對應的硬盤中的目錄。如下:
??location /images/ {
????????????root?? ?/working/static/ROOT/WEB-INF/;
????????????autoindex on;
????????}
location /images/ {
????????????alias? /working/static/ROOT/WEB-INF/images/;
????????????autoindex on;
????????}
這個配置表示輸入 localhost:80/images/wrong.png時會訪問本機的/working/static/ROOT/WEB-INF/images/wrong.png; 目錄。
root和alias 詳解
當訪問http://localhost/images/wrong.png時,root是去/working/static/ROOT/WEB-INF/image/wrong.png請求文件,alias是去/working/static/ROOT/WEB-INF/images/wrong.png請求,也就是說
root響應的路徑:配置的路徑+完整訪問路徑(完整的location配置路徑+靜態文件)
alias響應的路徑:配置路徑+靜態文件(去除location中配置的路徑)