遷移測試服務(wù) 筆記

需求:分診算法所使用的模型占用內(nèi)存較多,當(dāng)前test服務(wù)器的內(nèi)存不足,需要將服務(wù)遷移到新的learn服務(wù)器,重新創(chuàng)建RPC服務(wù)接口。

原服務(wù)器:test
新服務(wù)器:learn

Service

1. 工程配置

在新learn服務(wù)器中,下載problem_triage工程,執(zhí)行clone命令,同時(shí)切換當(dāng)前服務(wù)所在的分支feature/rough_to_fine_svm

git clone git@git.cxyx.me:python/problem_triage.git
git branch -a
git checkout feature/rough_to_fine_svm

通過三個環(huán)境腳本,安裝所依賴的Python庫,其中,在更新環(huán)境(update)時(shí),需要注意。

source scripts/env_prepare.sh  # 準(zhǔn)備環(huán)境
source scripts/env_activate.sh  # 激活環(huán)境
source scripts/env_update.sh  # 更新環(huán)境

全部更新完成的效果:

update

1.1 導(dǎo)出版本

提前準(zhǔn)備待更新的Python庫,在原test服務(wù)器的工程中,使用freeze命令導(dǎo)出到requirements.txt文件中:

pip freeze >requirements.txt

1.2 缺少smart_update

在執(zhí)行env_update時(shí),無法找到smart_update.py,則需要提前下載春雨的cy-pypi源。

同時(shí),設(shè)置當(dāng)前的pip版本為1.5.6,因?yàn)榇河晏摂M環(huán)境(env)的安裝腳本是基于pip的1.5.6版本:

pip install pip==1.5.6

在更新Python版本時(shí),除了使用env_update腳本,也可以直接使用pip命令:

pip install -r requirements.txt

1.3 pip源缺少庫版本

如果當(dāng)前的pip源提供的依賴庫的版本較低,可以使用其他的pip源,如阿里云:

pip install Markdown==2.6.8 -i http://mirrors.aliyun.com/pypi/simple

當(dāng)pip版本較高時(shí),如9.0.1,使用陌生的pip源會報(bào)錯:

Collecting tensorflow
  The repository located at mirrors.aliyun.com is not a trusted or secure host and is being ignored. If this repository is available via HTTPS it is recommended to use HTTPS instead, otherwise you may silence this warning and allow it anyways with '--trusted-host mirrors.aliyun.com'.
  Could not find a version that satisfies the requirement tensorflow (from versions: )
No matching distribution found for tensorflow

需要在命令尾部,添加信任pip源的參數(shù):

pip install Markdown==2.6.8 -i http://mirrors.aliyun.com/pypi/simple --trusted-host mirrors.aliyun.com

1.4 pip版本過低

如果提示錯誤https替換http,如安裝TensorFlow,即:

Downloading/unpacking tensorflow
  http://mirrors.aliyun.com/pypi/simple/tensorflow/ uses an insecure transport scheme (http). Consider using https if mirrors.aliyun.com has it available
  Could not find any downloads that satisfy the requirement tensorflow
Cleaning up...
No distributions at all found for tensorflow
Storing debug log for failure in /home/classify/.pip/pip.log

原因是TensorFlow庫需要高版本的pip庫才能安裝,當(dāng)前pip的版本較低,默認(rèn)是1.5.6,需要更新pip的版本:

pip install --upgrade pip

1.5 安裝setuptools

在安裝gensim時(shí),錯誤信息提示:setuptools版本過低,需要重新安裝setuptools。

The required version of setuptools (>=1.3.2) is not available,
and can't be installed while this script is running. Please
install a more recent version first, using
'easy_install -U setuptools'.

服務(wù)器無法使用easy_install,使用pip更新安裝setuptools

pip install setuptools --upgrade

如果,當(dāng)前源的setuptools版本較低,更換阿里云的源,重新安裝。


2. 服務(wù)配置

在新learn服務(wù)器中,需要復(fù)制算法模型與配置服務(wù)接口。

2.1 復(fù)制模型

需要復(fù)制粗分模型與Word2Vec模型,位置:

/home/cxyx/workspace/problem_triage/triage/data/experiments/model/rnn/runs
/home/cxyx/workspace/problem_triage/triage/data/adult/model/rnn/runs
/home/cxyx/workspace/problem_triage/word2vec/data/model

將文件壓縮傳輸,再解壓文件

zip -r ex_fine_model_0802.zip ex_fine_model_0802
unzip ex_fine_model_0802.zip

如果沒有unzip命令,則需要安裝

sudo yum install -y unzip zip

如果無法安裝unzip命令,則使用tar打包,傳輸,不壓縮:

tar cvf 1493802466.tar 1493802466
tar xvf 1493802466.tar

使用python的HTTP接口,在服務(wù)器之間傳輸,進(jìn)入文件所在目錄,啟動服務(wù)接口。

python -m SimpleHTTPServer 9001

在目標(biāo)服務(wù)器的對應(yīng)位置,下載文件,使用AB Test模式,需要復(fù)制兩個算法的模型文件,共四個文件。

wget --limit-rate=3000k test:9001/ex_rough_model_0802.zip
wget --limit-rate=3000k test:9001/ex_w2v_model_0802.zip

wget --limit-rate=3000k test:9001/1493802466.zip
wget --limit-rate=3000k test:9001/word2vec_for_triage.zip

解壓到對應(yīng)目錄即可。

2.2 配置服務(wù)

在原test服務(wù)器中,找到未添加至工程的配置文件

git status
status

在工程的.gitignore文件中,找到未添加至工程的配置文件

需要修改三個配置文件,即settings.pyconfig.inisupervisord.conf

settings.py負(fù)責(zé)管理log的存儲位置,將項(xiàng)目中的settings.test.py復(fù)制一份,即可,測試用test,線上用online:

cp settings.test.py settings.py

config.ini存放服務(wù)的socket地址或者端口,用于服務(wù)的網(wǎng)絡(luò)訪問,備份位于

problem_triage/conf/rpc

將其中的config.test.ini復(fù)制成本地的config.ini,即可。

supervisord.conf存放服務(wù)的進(jìn)程信息,啟動worker的數(shù)量,備份位于:

problem_triage/conf/supervisor

將其中的supervisord.test.conf復(fù)制成本地的supervisord.conf,即可。

啟停服務(wù)的腳本:

sh control_lb.sh stop
sh scripts/sup_stop.sh
sh scripts/sup_start.sh
sh control_lb.sh start

RPC服務(wù)的監(jiān)控面板,https://devops.cxyx.me/dashboard/rpc/

image.png
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,563評論 6 544
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 99,694評論 3 429
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,672評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,965評論 1 318
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 72,690評論 6 413
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 56,019評論 1 329
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 44,013評論 3 449
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 43,188評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 49,718評論 1 336
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 41,438評論 3 360
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 43,667評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,149評論 5 365
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,845評論 3 351
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,252評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,590評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,384評論 3 400
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 48,635評論 2 380

推薦閱讀更多精彩內(nèi)容