協(xié)程

協(xié)程是一種用戶輕量級線程。協(xié)程擁有自己的寄存器上下文和棧,協(xié)程調(diào)度切換時寄存器上下文和棧保存到其它地方,在切回來的時候恢復(fù)先前保存的寄存器上下文和棧,因此協(xié)程能保留上一次調(diào)用時的狀態(tài),每次過程重入時進入上一次離開時所處邏輯流的位置。協(xié)程的好處:
1、無需線程上下文切換的開銷
2、無需原子操作鎖定及同步的開銷
3、方便切換控制流,簡化編程模型
4、高并發(fā)+高擴展+低成本:一個cpu支持上萬的協(xié)程都不是問題,適合高并發(fā)處理
缺點:
1、無法利用多核資源,協(xié)程的本質(zhì)是個單線程,它不能同時將單個cpu的多個核用上,協(xié)程需要和進程配合才能在多cpu上運行
2、進行阻塞(blocking)操作(如IO)時會阻塞掉整個程序

greenlet模塊:

from greenlet import greenlet
def test1():
    print('test1-1')
    gr2.switch()
    print('test1-2')
    gr2.switch()

def test2():
    print('test2-1')
    gr1.switch()
    print('test2-2')
gr1 = greenlet(test1) #啟動一個協(xié)程
gr2 = greenlet(test2)
gr1.switch()
test1-1
test2-1
test1-2
test2-2

greenlet是手動切換線程上下文。greenlet(test1)啟動一個協(xié)程后,gr1.switch()切換到test1執(zhí)行,test1打印test1-1后切換到test2,test2打印test2-1后又切回test1,并記錄到了上一次執(zhí)行的位置,打印test1-2

gevent模塊:gevent模塊封裝了greenlet,實現(xiàn)自動切換:

import gevent

def foo():
    print('in foo')
    gevent.sleep(2)#觸發(fā)切換
    print('in foo 2')

def bar():
    print('in bar 1')
    gevent.sleep(1)
    print('in bar 2')

def func3():
    print('in func3 1')
    gevent.sleep(0)
    print('in func3 2')

gevent.joinall(
    [
        gevent.spawn(foo), #啟動一個協(xié)程
        gevent.spawn(bar),
        gevent.spawn(func3)
    ]
)
in foo
in bar 1
in func3 1
in func3 2
in foo 2
in bar 2

啟動三個協(xié)程,打印in foo后執(zhí)行g(shù)event.sleep(2),此時會切換至打印in bar 1,此時又遇切換,執(zhí)行打印in func3 1和in func3 2,之后回到foo函數(shù)gevent.sleep(2)還未到達2秒,到達1秒后打印in bar 2,到達2秒后再打印in foo 2,總耗時2秒

協(xié)程爬蟲簡單例子:

from urllib import request
import gevent
from gevent import monkey
import time

# monkey.patch_all()#gevent檢測不到urllib的IO操作,所以不會進行切換。monkey.patch_all()是給當(dāng)前程序所有IO操作單獨做上標(biāo)記

def fun(url):
    res = request.urlopen(url)
    data = res.read()
    f = open('url.html','wb')
    f.write(data)
    f.close()
    print("%d bytes recived from %s" % (len(data),url))


urls = [ 'https://github.com/',
        'https://zz.253.com/v5.html#/yun/index'
         ]
sync_all_time = time.time()
for url in urls:
    fun(url)
print('同步總耗時:',time.time()-sync_all_time)

async_start_time = time.time()
gevent.joinall(
    [
        gevent.spawn(fun,'https://github.com/'),
        gevent.spawn(fun,'https://zz.253.com/v5.html#/yun/index'),
        # gevent.spawn(fun,'http://www.lxweimin.com/'),
    ]
)
print('異步總耗時:',time.time()-async_start_time)
59864 bytes recived from https://github.com/
1175 bytes recived from https://zz.253.com/v5.html#/yun/index
同步總耗時: 2.9010000228881836
59854 bytes recived from https://github.com/
1175 bytes recived from https://zz.253.com/v5.html#/yun/index
異步總耗時: 7.056999921798706

gevent檢測不到urllib的IO操作,不會進行切換,所以為串行。monkey.patch_all()是給當(dāng)前程序所有IO操作單獨做上標(biāo)記,如此才并行。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,197評論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,415評論 3 415
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,104評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,884評論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點故事閱讀 71,647評論 6 408
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,130評論 1 323
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,208評論 3 441
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,366評論 0 288
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,887評論 1 334
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 40,737評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學(xué)時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,939評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,478評論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 44,174評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,586評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,827評論 1 283
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,608評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點故事閱讀 47,914評論 2 372

推薦閱讀更多精彩內(nèi)容