今天學習線程,以后寫爬蟲代碼時時會用到,因為用線程可以解決程序順序運行產生的阻塞,減少運行時間,凡事有兩面性,如果開太多的線程也會造成資源消耗過多造成系統崩潰。
開線程一般用線程池的方式,這樣可減少線程創建和銷毀的頻率。下面上代碼
from multiprocessing.dummy import Pool
def get_page(url):
print(url)
pool=Pool(4)
arg_list=['url1','url2','url3','url4']
pool.map(get_page,arg_list)
由于python是解釋性語言,函數在一定在調用之前定義。
晚自習