Python協程深入理解

從語法上來看,協程和生成器類似,都是定義體中包含yield關鍵字的函數。
yield在協程中的用法:
在協程中yield通常出現在表達式的右邊 ,例如:datum = yield,可以產出值,也可以不產出--如果yield關鍵字后面沒有表達式,那么生成器產出None.
協程可能從調用方接受數據,調用方是通過send(datum)的方式把數據提供給協程使用,而不是next(...)函數,通常調用方會把值推送給協程。
協程可以把控制器讓給中心調度程序,從而激活其他的協程
所以總體上在協程中把yield看做是控制流程的方式。

了解協程的過程

先通過一個簡單的協程的例子理解:

對上述例子的分析:
yield 的右邊沒有表達式,所以這里默認產出的值是None
剛開始先調用了next(...)是因為這個時候生成器還沒有啟動,沒有停在yield那里,這個時候也是無法通過send發送數據。所以當我們通過 next(...)激活協程后 ,程序就會運行到x = yield,這里有個問題我們需要注意, x = yield這個表達式的計算過程是先計算等號右邊的內容,然后在進行賦值,所以當激活生成器后,程序會停在yield這里,但并沒有給x賦值。
當我們調用send方法后yield會收到這個值并賦值給x,而當程序運行到協程定義體的末尾時和用生成器的時候一樣會拋出StopIteration異常
如果協程沒有通過next(...)激活(同樣我們可以通過send(None)的方式激活),但是我們直接send,會提示如下錯誤:


關于調用next(...)函數這一步通常稱為”預激(prime)“協程,即讓協程向前執行到第一個yield表達式,準備好作為活躍的協程使用
協程在運行過程中有四個狀態:
  1. GEN_CREATE:等待開始執行
  2. GEN_RUNNING:解釋器正在執行,這個狀態一般看不到
  3. GEN_SUSPENDED:在yield表達式處暫停
  4. GEN_CLOSED:執行結束

通過下面例子來查看協程的狀態:


接著再通過一個計算平均值的例子來繼續理解:


這里是一個死循環,只要不停send值給協程,可以一直計算下去。
通過上面的幾個例子我們發現,我們如果想要開始使用協程的時候必須通過next(...)方式激活協程,如果不預激,這個協程就無法使用,如果哪天在代碼中遺忘了那么就出問題了,所以有一種預激協程的裝飾器,可以幫助我們干這件事

預激協程的裝飾器

下面是預激裝飾器的演示例子:

1 from functools import wraps
 2 
 3 
 4 def coroutine(func):
 5     @wraps(func)
 6     def primer(*args,**kwargs):
 7         gen = func(*args,**kwargs)
 8         next(gen)
 9         return gen
10     return primer
11 
12 
13 @coroutine
14 def averager():
15     total = 0.0
16     count = 0
17     average = None
18     while True:
19         term = yield average
20         total += term
21         count += 1
22         average = total/count
23 
24 
25 coro_avg = averager()
26 from inspect import getgeneratorstate
27 print(getgeneratorstate(coro_avg))
28 print(coro_avg.send(10))
29 print(coro_avg.send(30))
30 print(coro_avg.send(5))

關于預激,在使用yield from句法調用協程的時候,會自動預激活,這樣其實與我們上面定義的coroutine裝飾器是不兼容的,在python3.4里面的asyncio.coroutine裝飾器不會預激協程,因此兼容yield from

終止協程和異常處理

協程中為處理的異常會向上冒泡,傳給next函數或send函數的調用方(即觸發協程的對象)
拿上面的代碼舉例子,如果我們發送了一個字符串而不是一個整數的時候就會報錯,并且這個時候協程是被終止了


從python2.5開始客戶端代碼在生成器對象上調用兩個方法,顯示的把異常發送給協程
分別為: throw和close
generator.throw:會讓生成器在暫停的yield表達式處拋出指定的異常,如果生成器處理了拋出的異常,代碼會向前執行到下一個yield表達式,而產出的值會成為調用generator.throw方法代碼的返回值。如果生成器沒有處理拋出的異常,異常會向上冒泡,傳到調用方的上下文中。
generator.close:會讓生成器在暫停的yield表達式處拋出GeneratorExit異常。如果生成器沒有處理這個異常,或者拋出了StopIteration異常,調用方不會報錯,如果收到GeneratorExit異常,生成器一定不能產出值,否則解釋器會拋出RuntimeError異常。生成器拋出的異常會向上冒泡,傳給調用方。
下面是一個例子:


當傳入我們定義的異常時不會影響協程,協程不會停止,可以繼續send,但是如果是沒有處理的異常的時候,就會報錯,并且協程會被終止

讓協程返回值

通過下面的例子進行演示如何獲取協程的返回值:

1 from collections import namedtuple
 2 
 3 
 4 Result = namedtuple("Result","colunt average")
 5 
 6 
 7 def averager():
 8     total = 0.0
 9     count = 0
10     average = None
11     while True:
12         term = yield
13         if term is None:
14             break
15         total += term
16         count+=1
17         average = total/count
18     return Result(count,average)
19 
20 coro_avg = averager()
21 next(coro_avg)
22 coro_avg.send(10)
23 coro_avg.send(30)
24 coro_avg.send(5)
25 try:
26     coro_avg.send(None)
27 except StopIteration as e:
28     result = e.value
29     print(result)

這樣就可以獲取到最后的結果:


其實相對來說上面這種方式獲取返回值比較麻煩,而yield from 結構會自動捕獲StopIteration異常,這種處理方式與for循環處理StopIteration異常的方式一樣,循環機制使我們更容易理解處理異常,對于yield from來說,解釋器不僅會捕獲StopIteration異常,還會把value屬性的值變成yield from表達式的值

關于yield from

在生成器gen中使用yield from subgen()時,subgen會獲得控制權,把產出的值傳給gen的調用方,即調用方可以直接控制subgen,同時,gen會阻塞,等待subgen終止
yield from x表達式對x對象所做的第一件事是,調用iter(x),從中獲取迭代器,因此x可以是任何可迭代的對象
下面是yield from可以簡化yield表達式的例子:

1 def gen():
 2     for c in "AB":
 3         yield c
 4     for i in range(1,3):
 5         yield i
 6 
 7 print(list(gen()))
 8 
 9 def gen2():
10     yield from "AB"
11     yield from range(1,3)
12 
13 print(list(gen2()))

這兩種的方式的結果是一樣的,但是這樣看來yield from更加簡潔,但是yield from的作用可不僅僅是替代產出值的嵌套for循環。
yield from的主要功能是打開雙向通道,把最外層的調用方與最內層的子生成器連接起來,這樣二者可以直接發送和產出值,還可以直接傳入異常,而不用再像之前那樣在位于中間的協程中添加大量處理異常的代碼
通過yield from還可以鏈接可迭代對象


委派生成器在yield from 表達式處暫停時,調用方可以直接把數據發給子生成器,子生成器再把產出產出值發給調用方,子生成器返回之后,解釋器會拋出StopIteration異常,并把返回值附加到異常對象上,此時委派生成器會恢復。
下面是一個完整的例子代碼

1 from collections import namedtuple
 2 
 3 
 4 Result = namedtuple('Result', 'count average')
 5 
 6 
 7 # 子生成器
 8 def averager():
 9     total = 0.0
10     count = 0
11     average = None
12     while True:
13         term = yield
14         if term is None:
15             break
16         total += term
17         count += 1
18         average = total/count
19     return Result(count, average)
20 
21 
22 # 委派生成器
23 def grouper(result, key):
24     while True:
25         result[key] = yield from averager()
26 
27 
28 # 客戶端代碼,即調用方
29 def main(data):
30     results = {}
31     for key,values in data.items():
32         group = grouper(results,key)
33         next(group)
34         for value in values:
35             group.send(value)
36         group.send(None) #這里表示要終止了
37 
38     report(results)
39 
40 
41 # 輸出報告
42 def report(results):
43     for key, result in sorted(results.items()):
44         group, unit = key.split(';')
45         print('{:2} {:5} averaging {:.2f}{}'.format(
46             result.count, group, result.average, unit
47         ))
48 
49 data = {
50     'girls;kg':
51         [40.9, 38.5, 44.3, 42.2, 45.2, 41.7, 44.5, 38.0, 40.6, 44.5],
52     'girls;m':
53         [1.6, 1.51, 1.4, 1.3, 1.41, 1.39, 1.33, 1.46, 1.45, 1.43],
54     'boys;kg':
55         [39.0, 40.8, 43.2, 40.8, 43.1, 38.6, 41.4, 40.6, 36.3],
56     'boys;m':
57         [1.38, 1.5, 1.32, 1.25, 1.37, 1.48, 1.25, 1.49, 1.46],
58 }
59 
60 
61 if __name__ == '__main__':
62     main(data)

關于上述代碼著重解釋一下關于委派生成器部分,這里的循環每次迭代時會新建一個averager實例,每個實例都是作為協程使用的生成器對象。
grouper發送的每個值都會經由yield from處理,通過管道傳給averager實例。grouper會在yield from表達式處暫停,等待averager實例處理客戶端發來的值。averager實例運行完畢后,返回的值會綁定到results[key]上,while 循環會不斷創建averager實例,處理更多的值
并且上述代碼中的子生成器可以使用return 返回一個值,而返回的值會成為yield from表達式的值。

關于yield from的意義

關于yield from 六點重要的說明:

  1. 子生成器產出的值都直接傳給委派生成器的調用方(即客戶端代碼)
  2. 使用send()方法發送給委派生成器的值都直接傳給子生成器。如果發送的值為None,那么會給委派調用子生成器的next()方法。如果發送的值不是None,那么會調用子生成器的send方法,如果調用的方法拋出StopIteration異常,那么委派生成器恢復運行,任何其他異常都會向上冒泡,傳給委派生成器
  3. 生成器退出時,生成器(或子生成器)中的return expr表達式會出發StopIteration(expr)異常拋出
  4. yield from表達式的值是子生成器終止時傳給StopIteration異常的第一個參數。yield from 結構的另外兩個特性與異常和終止有關。
  5. 傳入委派生成器的異常,除了GeneratorExit之外都傳給子生成器的throw()方法。如果調用throw()方法時拋出StopIteration異常,委派生成器恢復運行。StopIteration之外的異常會向上冒泡,傳給委派生成器
  6. 如果把GeneratorExit異常傳入委派生成器,或者在委派生成器上調用close()方法,那么在子生成器上調用clsoe()方法,如果它有的話。如果調用close()方法導致異常拋出,那么異常會向上冒泡,傳給委派生成器,否則委派生成器拋出GeneratorExit異常
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 230,182評論 6 543
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 99,489評論 3 429
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 178,290評論 0 383
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 63,776評論 1 317
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 72,510評論 6 412
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 55,866評論 1 328
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,860評論 3 447
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 43,036評論 0 290
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 49,585評論 1 336
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 41,331評論 3 358
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 43,536評論 1 374
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 39,058評論 5 363
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,754評論 3 349
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 35,154評論 0 28
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 36,469評論 1 295
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 52,273評論 3 399
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 48,505評論 2 379

推薦閱讀更多精彩內容