大家注意看這個(gè)是一個(gè)python寫(xiě)的程序,但是在倆個(gè)目錄下面安裝了倆個(gè)版本
a目錄下的python版本是3.5
b目錄下的python版本是2.7
python?nodejs ruby php等多個(gè)web服務(wù)器共享80端口(通過(guò)nginx反向代理實(shí)現(xiàn))
那么這些程序都是跑在一個(gè)服務(wù)器上面,那么我們今天的分享就是關(guān)于怎么讓多個(gè)程序搭建在一個(gè)服務(wù)器上,搭建一個(gè)適合于架構(gòu)師使用的開(kāi)發(fā)與實(shí)現(xiàn)環(huán)境(Linux)
眾所周知,當(dāng)項(xiàng)目越來(lái)越大的時(shí)候,項(xiàng)目的設(shè)計(jì)也會(huì)越來(lái)越復(fù)雜,一個(gè)線上運(yùn)營(yíng)的商業(yè)項(xiàng)目往往會(huì)涉及到多種編程語(yǔ)言與技術(shù)的使用,比如php+nodejs,ruby+nodejs,java、python等。
如果你覺(jué)得為這些不同種類(lèi)的技術(shù)搭建環(huán)境就已經(jīng)夠頭痛了,那么我想告訴你,還有更復(fù)雜的問(wèn)題還在后頭,不同語(yǔ)言環(huán)境也是在不斷發(fā)展之中的,
php從4.9到5.2再到7.0中間有著巨大的變化,代碼存在著大量的不兼容。
java 1.x到j(luò)ava 6、7 再到j(luò)ava8不止是語(yǔ)法上的變化,甚至連程序設(shè)計(jì)的思想與原則都發(fā)生了改變。
類(lèi)似的例子還有python和ruby,這兩個(gè)語(yǔ)言在linux運(yùn)維中使用非常廣泛,很多自動(dòng)化運(yùn)維腳本都是用python2.x與ruby1.x編寫(xiě)的,然而現(xiàn)在社區(qū)中活躍的新版本確是python3.x和ruby2.x
大家不要覺(jué)得這些個(gè)語(yǔ)言與你們無(wú)關(guān),很有可能你們?cè)趌inux中使用的某些工具就是用老版本的python和ruby編寫(xiě)的。
這么多的問(wèn)題,是不是已經(jīng)讓大家頭大了呢?
再大規(guī)模商業(yè)項(xiàng)目中,解決環(huán)境、版本等問(wèn)題其實(shí)有很成熟的解決方案。
現(xiàn)在的很多云計(jì)算廠商,利用虛擬化技術(shù)、容器技術(shù),采用服務(wù)化方式進(jìn)行開(kāi)發(fā),比如現(xiàn)在流行的docker+微服務(wù)架構(gòu)就是其中的佼佼者,關(guān)于更多容器技術(shù)與云計(jì)算的話題,我會(huì)在以后的活動(dòng)中為大家分享。
要完成這種規(guī)模的商業(yè)項(xiàng)目架構(gòu)設(shè)計(jì),架構(gòu)師常需要進(jìn)行程序測(cè)試與驗(yàn)證設(shè)計(jì),可要在筆記本上完成這樣的部署,無(wú)論是利用虛擬化技術(shù)(虛擬機(jī))還是容器技術(shù),都顯得太重了,架構(gòu)師需要的應(yīng)該是一個(gè)全能的開(kāi)發(fā)、部署與運(yùn)維環(huán)境,環(huán)境需要與產(chǎn)品環(huán)境高度一致,而且還應(yīng)該輕便,節(jié)省性能,方便管理。
那我們今天就來(lái)看一看,這樣的環(huán)境是如何搭建起來(lái)的
這邊我已經(jīng)提前準(zhǔn)備好了一臺(tái)主機(jī)來(lái)為大家實(shí)驗(yàn)
先從最簡(jiǎn)單的部分開(kāi)始。
我們?nèi)绾巫屢慌_(tái)服務(wù)器同時(shí)支持多種不同的web服務(wù)器,比如如何同時(shí)讓我們的這臺(tái)測(cè)試機(jī)上面能跑起php,nodejs,ruby on rails,如果有必要的話再加一個(gè)tomcat來(lái)跑jsp也是可以的。
通常情況下,如果在一臺(tái)機(jī)器中啟動(dòng)多個(gè)http服務(wù),我們必須給這些web服務(wù)分配不同的端口,否則就會(huì)端口沖突。然而標(biāo)準(zhǔn)的網(wǎng)頁(yè)服務(wù)走的是80端口,在瀏覽器中輸入一個(gè)網(wǎng)址,不指定端口號(hào),者這個(gè)請(qǐng)求就會(huì)發(fā)送到80端口。
這樣說(shuō)來(lái),如果同時(shí)在多個(gè)端口開(kāi)啟web服務(wù)基本不需要做太多額外的事情,只要去各個(gè)服務(wù)器軟件中修改配置文件,把端口號(hào)調(diào)整為其它大于一千的端口且不重復(fù),這樣web服務(wù)就能跑起來(lái)了。
接著我們需要解決一個(gè)棘手的問(wèn)題,通常我們?cè)O(shè)計(jì)的restfulAPi接口以及默認(rèn)的用戶訪問(wèn),都是直接把http請(qǐng)求發(fā)送至80端口的,80端口只有一個(gè),自然是只能有一個(gè)程序去監(jiān)聽(tīng)這個(gè)端口,不過(guò)這個(gè)解決起來(lái)也很簡(jiǎn)單。
之所以說(shuō)這個(gè)最簡(jiǎn)單,是因?yàn)楹芏鄅ttp服務(wù)器程序都支持http代理功能。我們?cè)谶@里即將介紹的是利用nginx反向代理實(shí)現(xiàn)多個(gè)web服務(wù)共享80端口
第一步,先讓nginx在80端口啟動(dòng),nginx啟動(dòng)成功后再讓其它服務(wù)器在別的端口啟動(dòng)服務(wù)。
為了保險(xiǎn)期間,自己可以先測(cè)試一下,各個(gè)服務(wù)在不同端口是否工作正常。
然后我們就需要為各個(gè)服務(wù)創(chuàng)建虛擬主機(jī),由于多個(gè)服務(wù)跑在一臺(tái)機(jī)器上,所以為了能有所區(qū)分,我們得給這些服務(wù)分別綁定不同域名,如果是在本機(jī)測(cè)試,域名綁定的工作可以選擇在自己筆記本的宿主機(jī)操作系統(tǒng)里面修改hosts文件
這一步完成以后,我們?cè)趎ginx的配置中增加虛擬主機(jī)配置,為了方便管理,每一個(gè)虛擬主機(jī)的配置最好是能有一個(gè)獨(dú)立的文件存放
下面是一個(gè)典型的虛擬主機(jī)反向代理配置
server {
listen 80;
server_name test.ydma.cn;
location / {
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Host? $http_host;
proxy_set_header X-Nginx-Proxy true;
proxy_pass http://127.0.0.1:9001;
}
}
如果是在ubuntu中,這個(gè)文件應(yīng)該放在/etc/nginx/sites-available里面,然后再通過(guò)ln -s 做一個(gè)軟連接放在sites-enabled文件夾中
之所以nginx能找到這個(gè)配置文件是因?yàn)樵趎ginx.conf主配置文件中有這么兩行配置
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/sites-enabled/*;
我們可以看到上面的配置文件中 由nginx監(jiān)聽(tīng)主機(jī)名為 server_name test.ydma.cn ,
端口號(hào) listen 80;
location設(shè)置為 proxy_pass http://127.0.0.1:9001;
也就是說(shuō)把訪問(wèn)test.ydma.cn:80的請(qǐng)求交給127.0.0.1的9001端口去處理
proxy_set_header的配置是為了將http請(qǐng)求的頭部信息做相應(yīng)的改寫(xiě),如果沒(méi)有這些設(shè)置,轉(zhuǎn)發(fā)后的請(qǐng)求得到的請(qǐng)求信息就是nginx服務(wù)的信息,而不是外部用戶的信息
把這個(gè)文件復(fù)制幾分,只需要改寫(xiě)server_name以及proxy_pass后的端口號(hào),那么我們就可以讓nodes 、ruby on rails 、apache、等多個(gè)web服務(wù)同時(shí)共用80端口跑起來(lái)了。
多個(gè)web服務(wù)跑起來(lái)了,共用80端口了,這樣服務(wù)與服務(wù)之間就可以通過(guò)標(biāo)準(zhǔn)的http協(xié)議做webservice調(diào)用了
可現(xiàn)在還不是高興的時(shí)候,因?yàn)槁闊┑倪€在后頭,在項(xiàng)目開(kāi)發(fā)過(guò)程中,我們用到的各種工具和軟件,通常會(huì)有依賴(lài),比如hadoop,我們以hadoop2.x為例,它依賴(lài)jdk7,我們制作的一款機(jī)器學(xué)習(xí)軟件大量使用java函數(shù)式編程,需要jdk8,那么我們?cè)趺礃咏鉀Q這個(gè)問(wèn)題呢
通常做法是同時(shí)安裝兩個(gè)版本到不同路徑,比如/opt/java/jdk/1.7.x/目錄下安裝java7,/opt/java/jdk/1.8.x/下安裝java8,然后可以在linux中配置用戶級(jí)別環(huán)境變量JAVA_HOME,通常環(huán)境變量應(yīng)該寫(xiě)在文件 ~./bashrc 或者~/.bash_profile中,然后再修改系統(tǒng)的PATH變量,指向JAVA_HOME下的bin目錄,這樣我希望用戶默認(rèn)環(huán)境下是java8那么我就把環(huán)境變量JAVA_HOME切換到j(luò)ava8的安裝目錄就可以了,這樣我們自己寫(xiě)的機(jī)器學(xué)習(xí)工具就能在我的用戶權(quán)限下跑起來(lái)了。
如果我的機(jī)器學(xué)習(xí)程序需要訪問(wèn)hadoop中的數(shù)據(jù)怎么辦?hadoop2.x需要的是jdk7,而且要和我的java8程序一起在同一臺(tái)機(jī)器中使用。
是不是依葫蘆畫(huà)瓢,然后其它語(yǔ)言多版本的問(wèn)題都可以這樣結(jié)局呢?
事情遠(yuǎn)遠(yuǎn)比我們想象中復(fù)雜,比如python,我們?yōu)榱耸褂矛F(xiàn)在社區(qū)中一些新的python工具,必須把python升級(jí)到3.x版本,但操作系統(tǒng)中有些操作也需要python,比如當(dāng)前ubuntu中用的是2.7,如果我們升級(jí)了python,系統(tǒng)的有些功能會(huì)無(wú)法正常使用。
ruby情況與python類(lèi)似,由于ruby項(xiàng)目高度活躍,我們很可能需要同時(shí)使用3個(gè)以上甚至更多的ruby版本在一個(gè)系統(tǒng)中,不止如此,還需要能靈活的管理我們的環(huán)境和版本。
我們可以看到上面的配置文件中 由nginx監(jiān)聽(tīng)主機(jī)名為 server_name test.ydma.cn ,
端口號(hào) listen 80;
linux中的很多軟件都會(huì)有啟動(dòng)腳本,如果在啟動(dòng)腳本中設(shè)定完整的java運(yùn)行路徑,就可以用指定的java版本來(lái)運(yùn)行程序了,像hadoop這樣的大型開(kāi)源項(xiàng)目,已經(jīng)一早就為我們準(zhǔn)備了運(yùn)行時(shí)環(huán)境設(shè)置的途徑。
有一個(gè)很好的設(shè)計(jì)思路能解決這個(gè)問(wèn)題,無(wú)論你希望有多少個(gè)版本并存在操作系統(tǒng)且無(wú)沖突。
原理如下
首先,我們需要能把語(yǔ)言各個(gè)版本環(huán)境統(tǒng)一管理,也就是說(shuō)把所有我們需要的版本都下載下來(lái),集中存放
然后我們建立一個(gè)該語(yǔ)言環(huán)境的目錄加入PATH,為語(yǔ)言環(huán)境以及bing中的命令建立替身,所有敲的命令以及執(zhí)行的腳本默認(rèn)都指向替身而不是命令本身,比如正常情況下如果敲python命令,系統(tǒng)會(huì)去path中查找python文件,然后執(zhí)行,由于通過(guò)path找到的python是替身而不是命令本身,我們可以利用替身幫我們做一些事情,
我們可以指明某個(gè)文件夾必須使用某個(gè)版本的python,這樣替身接到命令調(diào)用時(shí)就會(huì)先判斷,這個(gè)文件夾是否有指明版本,如果有指定,就再去調(diào)用指定版本的python去執(zhí)行命令,當(dāng)然如果沒(méi)有指定文件夾,那么python就判斷,當(dāng)前登陸的用戶有沒(méi)有指定python版本,如果沒(méi)有指定就再判斷,有沒(méi)有指定默認(rèn)全局python版本,這樣一來(lái),我可以精確的去控制每一個(gè)文件夾,每一個(gè)用戶,以及整個(gè)操作系統(tǒng)應(yīng)該是用的python版本,
同樣的原理也適用于其它編程語(yǔ)言,而且也有這樣的開(kāi)源項(xiàng)目來(lái)幫助我們做這樣的事情。
最早這樣管理環(huán)境的是ruby,ruby工程師發(fā)明了很多項(xiàng)目管理工具,早期的rvm就是管理版本環(huán)境與依賴(lài)的,功能比較強(qiáng)大,而另一個(gè)輕型解決方案叫做rbenv就是用我上面講的辦法來(lái)實(shí)現(xiàn)復(fù)雜的環(huán)境的管理,具體如何使用,大家可以看一下我視頻直播中的演示。
由于有了rbenv這樣好用的工具管理ruby,因此就有人利用rbenv進(jìn)行改造,誕生了pyenv來(lái)管理python,還有phpenv等等。