1. 迭代器協議
由于生成器自動實現了迭代器協議，而迭代器協議對很多人來說，也是一個較為抽象的概念。所以，為了更好的理解生成器，我們需要簡單的回顧一下迭代器協議的概念。
1）迭代器協議是指：對象需要提供next方法，它要么返回迭代中的下一項，要么就引起一個StopIteration異常，以終止迭代
2）可迭代對象就是：實現了迭代器協議的對象
3）協議是一種約定，可迭代對象實現迭代器協議，Python的內置工具(如for循環，sum，min，max函數等)使用迭代器協議訪問對象。
舉個例子：在所有語言中，我們都可以使用for循環來遍歷數組，Python的list底層實現是一個數組，所以，我們可以使用for循環來遍歷list。如下所示：
>>> for n in [1, 2, 3, 4]:
... print n
但是，對Python稍微熟悉一點的朋友應該知道，Python的for循環不但可以用來遍歷list，還可以用來遍歷文件對象，如下所示：
>>> with open(‘/etc/passwd’) as f: # 文件對象提供迭代器協議
... for line in f: # for循環使用迭代器協議訪問文件
... print line
為什么在Python中，文件還可以使用for循環進行遍歷呢？這是因為，在Python中，文件對象實現了迭代器協議，for循環并不知道它遍歷的是一個文件對象，它只管使用迭代器協議訪問對象即可。正是由于Python的文件對象實現了迭代器協議，我們才得以使用如此方便的方式訪問文件，如下所示：
>>> f = open('/etc/passwd')
>>> dir(f)
['__class__', '__enter__', '__exit__', '__iter__', '__next__', 'writelines', '...'
2. 生成器
Python使用生成器對延遲操作提供了支持。所謂延遲操作，是指在需要的時候才產生結果，而不是立即產生結果。這也是生成器的主要好處。
Python有兩種不同的方式提供生成器：
1）生成器函數：常規函數定義，但是，使用yield語句而不是return語句返回結果。yield語句一次返回一個結果，在每個結果中間，掛起函數的狀態，以便下次重它離開的地方繼續執行
2）生成器表達式：類似于列表推導，但是，生成器返回按需產生結果的一個對象，而不是一次構建一個結果列表
2.1 生成器函數
我們來看一個例子，使用生成器返回自然數的平方（注意返回的是多個值）：
def gensquares(N):
for i in range(N):
yield i ** 2
for item in gensquares(5):
print item,
使用普通函數：
def gensquares(N):
res = []
for i in range(N):
res.append(i*i)
return res
for item in gensquares(5):
print item,
可以看到，使用生成器函數代碼量更少。
2.2 生成器表達式
使用列表推導，將會一次產生所有結果：
>>> squares = [x**2 for x in range(5)]
>>> squares
[0, 1, 4, 9, 16]
將列表推導的中括號，替換成圓括號，就是一個生成器表達式：
>>> squares = (x**2 for x in range(5))
>>> squares
<generator object at 0x00B2EC88>
>>> next(squares)
0
...
>>> next(squares)
4
>>> list(squares)
[9, 16]
Python不但使用迭代器協議，讓for循環變得更加通用。大部分內置函數，也是使用迭代器協議訪問對象的。例如， sum函數是Python的內置函數，該函數使用迭代器協議訪問對象，而生成器實現了迭代器協議，所以，我們可以直接這樣計算一系列值的和：
>>> sum(x ** 2 for x in xrange(4))
而不用多此一舉的先構造一個列表：
>>> sum([x ** 2 for x in xrange(4)])
2.3 再看生成器
前面已經對生成器有了感性的認識，我們以生成器函數為例，再來深入探討一下Python的生成器：
1）語法上和函數類似：生成器函數和常規函數幾乎是一樣的。它們都是使用def語句進行定義，差別在于，生成器使用yield語句返回一個值，而常規函數使用return語句返回一個值
2）自動實現迭代器協議：對于生成器，Python會自動實現迭代器協議，以便應用到迭代背景中（如for循環，sum函數）。由于生成器自動實現了迭代器協議，所以，我們可以調用它的next方法，并且，在沒有值可以返回的時候，生成器自動產生StopIteration異常
3）狀態掛起：生成器使用yield語句返回一個值。yield語句掛起該生成器函數的狀態，保留足夠的信息，以便之后從它離開的地方繼續執行
3. 示例
我們再來看兩個生成器的例子，以便大家更好的理解生成器的作用。
首先，生成器的好處是延遲計算，一次返回一個結果。也就是說，它不會一次生成所有的結果，這對于大數據量處理，將會非常有用。
大家可以在自己電腦上試試下面兩個表達式，并且觀察內存占用情況。對于前一個表達式，我在自己的電腦上進行測試，還沒有看到最終結果電腦就已經卡死，對于后一個表達式，幾乎沒有什么內存占用。
sum([i for i in xrange(10000000000)])
sum(i for i in xrange(10000000000))
除了延遲計算，生成器還能有效提高代碼可讀性。例如，現在有一個需求，求一段文字中，每個單詞出現的位置。
不使用生成器的情況：
def index_words(text):
result = []
if text:
result.append(0)
for index, letter in enumerate(text, 1):
if letter == ' ':
result.append(index)
return result
使用生成器的情況：
def index_words(text):
if text:
yield 0
for index, letter in enumerate(text, 1):
if letter == ' ':
yield index
這里，至少有兩個充分的理由說明 ，使用生成器比不使用生成器代碼更加清晰：
1）使用生成器以后，代碼行數更少。大家要記住，如果想把代碼寫的Pythonic，在保證代碼可讀性的前提下，代碼行數越少越好
2）不使用生成器的時候，對于每次結果，我們首先看到的是result.append(index)，其次，才是index。也就是說，我們每次看到的是一個列表的append操作，只是append的是我們想要的結果。使用生成器的時候，直接yield index，少了列表append操作的干擾，我們一眼就能夠看出，代碼是要返回index。
這個例子充分說明了，合理使用生成器，能夠有效提高代碼可讀性。只要大家完全接受了生成器的概念，理解了yield語句和return語句一樣，也是返回一個值。那么，就能夠理解為什么使用生成器比不使用生成器要好，能夠理解使用生成器真的可以讓代碼變得清晰易懂。
4. 使用生成器的注意事項
相信通過這篇文章，大家已經能夠理解生成器的作用和好處。但是，還沒有結束，使用生成器，也有一點注意事項。
我們直接來看例子，假設文件中保存了每個省份的人口總數，現在，需要求每個省份的人口占全國總人口的比例。顯然，我們需要先求出全國的總人口，然后在遍歷每個省份的人口，用每個省的人口數除以總人口數，就得到了每個省份的人口占全國人口的比例。
如下所示：
def get_province_population(filename):
with open(filename) as f:
for line in f:
yield int(line)
gen = get_province_population('data.txt')
all_population = sum(gen)
#print all_population
for population in gen:
print population / all_population
執行上面這段代碼，將不會有任何輸出，這是因為，生成器只能遍歷一次。在我們執行sum語句的時候，就遍歷了我們的生成器，當我們再次遍歷我們的生成器的時候，將不會有任何記錄。所以，上面的代碼不會有任何輸出。
因此，生成器的唯一注意事項就是：生成器只能遍歷一次。
5. 總結
本文深入淺出地介紹了Python中，一個容易被大家忽略的重要特性，即Python的生成器。為了講解生成器，本文先介紹了迭代器協議，然后介紹了生成器函數和生成器表達式，并通過示例演示了生成器的優點和注意事項。在實際工作中，充分利用Python生成器，不但能夠減少內存使用，還能夠提高代碼可讀性。掌握生成器也是Python高手的標配。希望本文能夠幫助大家理解Python的生成器。
