什么是生產者消費者模式
在軟件開發的過程中，經常碰到這樣的場景：
某些模塊負責生產數據，這些數據由其他模塊來負責處理（此處的模塊可能是：函數、線程、進程等）。產生數據的模塊稱為生產者，而處理數據的模塊稱為消費者。在生產者與消費者之間的緩沖區稱之為倉庫。生產者負責往倉庫運輸商品，而消費者負責從倉庫里取出商品，這就構成了生產者消費者模式。
舉一個寄信的例子。假設你要寄一封信，大致過程如下：
你把信寫好——相當于生產者生產數據
你把信放入郵箱——相當于生產者把數據放入緩沖區
郵遞員把信從郵箱取出，做相應處理——相當于消費者把數據取出緩沖區，處理數據。
生產者消費者模式的優點
解耦
假設生產者和消費者分別是兩個線程。如果讓生產者直接調用消費者的某個方法，那么生產者對于消費者就會產生依賴（也就是耦合）。如果未來消費者的代碼發生變化，可能會影響到生產者的代碼。而如果兩者都依賴于某個緩沖區，兩者之間不直接依賴，耦合也就相應降低了。
舉個例子，我們去郵局投遞信件，如果不使用郵箱（也就是緩沖區），你必須得把信直接交給郵遞員。有同學會說，直接給郵遞員不是挺簡單的嘛？其實不簡單，你必須 得認識誰是郵遞員，才能把信給他。這就產生了你和郵遞員之間的依賴（相當于生產者和消費者的強耦合）。萬一哪天郵遞員 換人了，你還要重新認識一下（相當于消費者變化導致修改生產者代碼）。而郵箱相對來說比較固定，你依賴它的成本就比較低（相當于和緩沖區之間的弱耦合）。
并發
由于生產者與消費者是兩個獨立的并發體，他們之間是用緩沖區通信的，生產者只需要往緩沖區里丟數據，就可以繼續生產下一個數據，而消費者只需要從緩沖區拿數據即可，這樣就不會因為彼此的處理速度而發生阻塞。
繼續上面的例子，如果我們不使用郵箱，就得在郵局等郵遞員，直到他回來，把信件交給他，這期間我們啥事兒都不能干（也就是生產者阻塞）。或者郵遞員得挨家挨戶問，誰要寄信（相當于消費者輪詢）。
支持忙閑不均
當生產者制造數據快的時候，消費者來不及處理，未處理的數據可以暫時存在緩沖區中，慢慢處理掉。而不至于因為消費者的性能造成數據丟失或影響生產者生產。
我們再拿寄信的例子，假設郵遞員一次只能帶走1000封信，萬一碰上情人節（或是圣誕節）送賀卡，需要寄出去的信超過了1000封，這時候郵箱這個緩沖區就派上用場了。郵遞員把來不及帶走的信暫存在郵箱中，等下次過來時再拿走。
通過上面的介紹大家應該已經明白了生產者消費者模式。
Python中的多線程編程
在實現生產者消費者模式之前，我們先學習下Python中的多線程編程。
線程是操作系統直接支持的執行單元，高級語言通常都內置多線程的支持，Python也不例外，并且Python的線程是真正的Posix Thread，而不是模擬出來的線程。
Python的標準庫提供了兩個模塊：_thread和threading，_thread是低級模塊，threading是高級模塊，對_thread進行了封裝。絕大多數情況下，我們只需要使用threading這個高級模塊。
下面我們先看一段在Python中實現多線程的代碼。
importtime,threading
#線程代碼
classTaskThread(threading.Thread):
def __init__(self,name):
threading.Thread.__init__(self,name=name)
def run(self):
print('thread %s is running...'%self.getName())
foriinrange(6):
print('thread %s >>> %s'%(self.getName(),i))
time.sleep(1)
print('thread %s finished.'%self.getName())
taskthread=TaskThread('TaskThread')
taskthread.start()
taskthread.join()
下面是程序的執行結果：
thread TaskThreadisrunning...
threadTaskThread>>>0
threadTaskThread>>>1
threadTaskThread>>>2
threadTaskThread>>>3
threadTaskThread>>>4
threadTaskThread>>>5
thread TaskThreadfinished.
TaskThread類繼承自threading模塊中的Thread線程類。構造函數的name參數指定線程的名字，通過重載基類run函數實現具體任務。
在簡單熟悉了Python的線程后，下面我們實現一個生產者消費者模式。
from Queue import Queue
importrandom,threading,time
#生產者類
classProducer(threading.Thread):
def __init__(self,name,queue):
threading.Thread.__init__(self,name=name)
self.data=queue
def run(self):
foriinrange(5):
print("%s is producing %d to the queue!"%(self.getName(),i))
self.data.put(i)
time.sleep(random.randrange(10)/5)
print("%s finished!"%self.getName())
#消費者類
classConsumer(threading.Thread):
def __init__(self,name,queue):
threading.Thread.__init__(self,name=name)
self.data=queue
def run(self):
foriinrange(5):
val=self.data.get()
print("%s is consuming. %d in the queue is consumed!"%(self.getName(),val))
time.sleep(random.randrange(10))
print("%s finished!"%self.getName())
def main():
queue=Queue()
producer=Producer('Producer',queue)
consumer=Consumer('Consumer',queue)
producer.start()
consumer.start()
producer.join()
consumer.join()
print'All threads finished!'
if__name__=='__main__':
main()
執行結果可能如下：
Producerisproducing0tothequeue!
Consumerisconsuming.0inthe queueisconsumed!
Producerisproducing1tothequeue!
Producerisproducing2tothequeue!
Consumerisconsuming.1inthe queueisconsumed!
Consumerisconsuming.2inthe queueisconsumed!
Producerisproducing3tothequeue!
Producerisproducing4tothequeue!
Producerfinished!
Consumerisconsuming.3inthe queueisconsumed!
Consumerisconsuming.4inthe queueisconsumed!
Consumerfinished!
All threadsfinished!
因為多線程是搶占式執行的，所以打印出的運行結果不一定和上面的完全一致。
