python coroutines(協(xié)程)

協(xié)程和生成器很像但還是有些許的不同,主要的不同之處在于:

生成器是數(shù)據(jù)生產(chǎn)者
協(xié)程是數(shù)據(jù)消費者

首先再看一下生成器

def fib():
    a, b = 0, 1
    while True:
        yield a
        a, b = b, a+b

然后可以使用for循環(huán)遍歷

for i in fib():
    print(i)

它是快速的,不會給內(nèi)存帶來很多壓力因為它會動態(tài)生成值而不是將它們存儲在列表中,現(xiàn)在,如果我們在上面的例子中使用yield,通常,就是一個協(xié)程。協(xié)程使用傳給它的值。一個基本的例子如下:

def grep(pattern):
    print("Searching for", pattern)
    while True:
        line = (yield)
        if pattern in line:
            print(line)

可以看到,協(xié)程中yield語句的形式。它不包含任何初始值,而是由我們額外提供。我們可以使用send方法來提供值給它。下面是個簡單的例子:

def grep(pattern):
    print("Searching for", pattern)
    while True:
        line = (yield)
        if pattern in line:
            print(line)

if __name__ == '__main__':
    search = grep("cornator")
    next(search) #output: ('Searching for', 'cornator')
    search.send("I love px!")
    search.send("I love px!")
    search.send("I love px, cornator!") # output: I love px, cornator!

發(fā)送的值通過yield訪問。使用next()方法的原因是,運行協(xié)程需要使用它。就像生成器,協(xié)程不會自動運行。而是作為next()和.send()方法的響應(yīng)來運行它。因此,你需要運行next()來執(zhí)行到y(tǒng)ield表達式。
再看一例:

def averager():
    total = 0.0
    count = 0
    average = None
    while True: 
        term = yield average 
        total += term
        count += 1
        average = total/count

使用方法

>>> coro_avg = averager()
>>> next(coro_avg)
>>> coro_avg.send(10)
10.0
>>> coro_avg.send(30)
20.0
>>> coro_avg.send(5)
15.0

創(chuàng)建協(xié)程對象,調(diào)用 next 函數(shù),預激協(xié)程.由于我們在使用協(xié)程之前都必須激活協(xié)程,所以,我們通常可以寫一個裝飾器,專門用于預激協(xié)程:

from functools import wraps
def coroutine(func):
    """裝飾器:向前執(zhí)行到第一個`yield`表達式,預激`func`"""
    @wraps(func)
    def primer(*args,**kwargs):
        gen = func(*args,**kwargs)
        next(gen)
        return gen
    return primer

這樣我們就可以使用它了,使用方法如下:

from coroutil import coroutine  #這里就是我們實現(xiàn)的裝飾器函數(shù)
@coroutine
def averager():
    total = 0.0
    count = 0
    average = None
    while True:
        term = yield average
        total += term
        count += 1
        average = total/count

我們再使用該函數(shù)的時候就不用調(diào)用next方法了,而是直接使用。

coro_avg = averager()
coro_avg.send(10)
coro_avg.send(30)

順便說一下yield from語法:
yield from x 表達式對x對象所做的第一件事就是調(diào)用iter(x),從中獲取迭代器,因此,x可以是任何可迭代的對象。yield from的主要功能是打開雙向通道,把最外面的調(diào)用方與最內(nèi)層的子生成器連接起來,這樣二者就可以直接發(fā)送和產(chǎn)出值,還可以直接傳入異常。而不是在位于中間的協(xié)程中添加大量的處理異常的樣板代碼。有了這個結(jié)構(gòu),協(xié)程可以通過以前不可能的方式委托職責。
yield from 幾大特征:

  • 子生成器產(chǎn)出的值都直接傳給委派生成器的調(diào)用方(即客戶端代碼)。
  • 使用 send() 方法發(fā)給委派生成器的值都直接傳給子生成器。如果發(fā)送的值是None,那么會調(diào)用子生成器的 next() 方法。如果發(fā)送的值不是 None,那么會調(diào)用子生成器的 send() 方法。如果調(diào)用的方法拋出StopIteration 異常,那么委派生成器恢復運行。任何其他異常都會向上冒泡,傳給委派生成器。
  • 生成器退出時,生成器(或子生成器)中的 return expr 表達式會觸發(fā)StopIteration(expr) 異常拋出。
  • yield from 表達式的值是子生成器終止時傳給 StopIteration 異常的第一個參數(shù)。
  • 傳入委派生成器的異常,除了 GeneratorExit 之外都傳給子生成器的 throw() 方法。如果調(diào)用 throw() 方法時拋出 StopIteration 異常,委派生成器恢復運行。StopIteration 之外的異常會向上冒泡,傳給委派生成器。
  • 如果把 GeneratorExit 異常傳入委派生成器,或者在委派生成器上調(diào)用 close() 方法,那么在子生成器上調(diào)用 close() 方法,如果它有的話。如果調(diào)用 close() 方法導致異常拋出,那么異常會向上冒泡,傳給委派生成器;否則,委派生成器拋出GeneratorExit 異常。

我們可以關(guān)閉協(xié)程通過調(diào)用.close()方法。
python3,中,協(xié)程可以使用asyncio模塊實現(xiàn),通過asnc def 聲明語句或者使用生成器。async def 類型協(xié)程是在python3.5中加入的,版本支持的情況下,建議使用它。基于生成器的協(xié)程應(yīng)該使用@asyncio.coroutine裝飾器,盡管這不是強制的。


import asyncio

@asyncio.coroutine
def test():
    print("never scheduled")

async def hello_world():
    print("Hello World!")

loop = asyncio.get_event_loop()
asyncio.ensure_future(test())
# Blocking call which returns when the hello_world() coroutine is done
loop.run_until_complete(hello_world())
loop.close()

調(diào)用一個協(xié)程不在代碼運行的時候開啟,調(diào)用返回的協(xié)程對象不在任何事情,直到你的調(diào)度器開始執(zhí)行。有兩種基本的方式開啟它的運行,調(diào)用await coroutine或者從其他coroutine中yield from coroutine,或者調(diào)度器執(zhí)行ensure_future()函數(shù)或者 AbstractEventLoop.create_task()方法。
協(xié)程運行只有當事件輪休運行的時候運行。

import asyncio

async def compute(x, y):
    print("Compute %s + %s ..." % (x, y))
    await asyncio.sleep(1.0)
    return x + y

async def print_sum(x, y):
    result = await compute(x, y)
    print("%s + %s = %s" % (x, y, result))

loop = asyncio.get_event_loop()
loop.run_until_complete(print_sum(1, 2))
loop.close()

添加回調(diào)函數(shù)

import asyncio

async def slow_operation(future):
    await asyncio.sleep(1)
    future.set_result('Future is done!')

def got_result(future):
    print(future.result())
    loop.stop()

loop = asyncio.get_event_loop()
future = asyncio.Future()
asyncio.ensure_future(slow_operation(future))
future.add_done_callback(got_result)
try:
    loop.run_forever()
finally:
    loop.close()

最后看一例:

@asyncio.coroutine
def supervisor():
    spinner = asyncio.async(spin('thinking!'))
    print('spinner object:', spinner)
    result = yield from slow_function()
    spinner.cancel()
    return result

這里能安全地取消協(xié)程的原因是按照定義,協(xié)程只能在暫停的yield處取消,因此可以處理CancelledError異常,執(zhí)行清除操作。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 228,702評論 6 534
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,615評論 3 419
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 176,606評論 0 376
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經(jīng)常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,044評論 1 314
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,826評論 6 410
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 55,227評論 1 324
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,307評論 3 442
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,447評論 0 289
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,992評論 1 335
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點故事閱讀 40,807評論 3 355
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發(fā)現(xiàn)自己被綠了。 大學時的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,001評論 1 370
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,550評論 5 361
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點故事閱讀 44,243評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,667評論 0 26
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,930評論 1 287
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,709評論 3 393
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,996評論 2 374