generator(生成器)

1. 什么是生成器：

   • 把一個列表推倒式l = [x for x in range(10)]改成l = (x for x in range(10))就變成了一個生成器。
   • 一個函數中只要有yield那么也是一個生成器。

2. 可迭代對象：

   • 一類是集合數據類型，如list、tuple、dict、set、str等；(字典遍歷，打印出鍵)
   • 一類是generator，包括生成器和帶yield的generator function。

生成器和迭代器的區別：
可以理解為可以被next()函數調用并不斷返回下一個值的對象稱為迭代器，生成器一定是一個迭代器；生成器只是一個保存的一個算法。

beautifulsoup4常用方法

語法：soup = BeautifulSoup(html,"lxml")

1. find_all:返回所有元素的列表，bs4語法

   • soup.find_all("a")
   • soup.find_all(["a","b"])
   • soup.find_all(id="abc")
   • soup.find_all("input", attrs={"name":"_xsrf"})
   • soup.find_all('div', class__='t')

2. select：返回所有元素的列表，完全是CSS語法

   • soup.select("div")
   • soup.select(".nav")
   • soup.select("#nav")
   • soup.select("p #nav")
   • soup.select(".abc, .def")
   • soup.select("div[class='nav']")
   • soup.select("a[href='http://www.baidu.com']")

3. 獲取內容用get_text(),獲取屬性值get("value ")

創建多線程的方式

1. threading模塊

   import threading
       
   
   def func():
       print "hello world"
   l = []  
   for i in range(5):
       thread = threading.Thread(target=func, args=[])
       thread.start()
       l.append(thread)
   for thread in l:
       thread.join()
   

2. multiprocessing.dumpy模塊

   from multiprocessing.dumpy import Pool
   
   def func(a):
       print a
   pool = Pool(5)
   pool.map(func, [1,2,3,4,5]) -----> 它的結果是一個列表
   pool.close()
   pool.join()
   

3. gevent版本

   import gevent
   from gevent import monkey
   mankey.patch_all()
   # 使用列表推導式將每個協程放到列表內
   job_list = [gevent.spawn(func, args) for i in range(5)]
   gevent.joinall(job_list)
   

4. tesseract庫的使用

   安裝好以后，在終端輸入:

   $ tesseract XXX.jpg text # 就會在該路徑下生成一個text.txt文件
   

5. subprocess的用法

   這個模塊可以實現在代碼中輸入執行終端的命令。

   import subprocess
   subprocess.call(["ls","l"])  # 逗號就相當于終端中輸入空格
   

6. 通過meta傳參數

   def parse(self, response):
       yield scrapy.Request(url, callback=self.func, meta={"haha":item})
   
   def parse_item(self, response)
       # 取出傳遞過來的meta
       item = response.meta['haha']
   

7. 字典的get()方法

   In [1]: dict = {'name':'johnny','age':'27'}
   In [2]: print(dict.get('name'))
   johnny
   In [3]: dict.get('sex')
   In [4]: print(dict.get('sex'))
   None