永遠是別人家的貓好看
在之前的文章中說過，模擬瀏覽器在現在的python庫中有兩個選擇Mechanize與Selenium：然而Mechanize不支持JavaScript，Selenium是一套完整的Web應用程序測試系統。所以對于爬蟲開發來說selenium就成了爬蟲開發的核武器，可以有效的幫助我們(1.無腦的執行JavaScript渲染頁面;2.規避反爬)。
在此之前實現的十幾萬網站的頻道識別是絕對不能算是定點爬蟲的了，所以只好祭出核武器。
網上關于selenium的教程有很多，這里細數selenium的注（yi）意（xie）事（shen）項（keng）：
-
關于web_driver的選擇
- phantomjs：不要選！不要選這個！phantomjs相信是很多爬蟲使用者在接觸selenium時使用的的一個瀏覽器了。無頭（無界面）瀏覽器。但是，phantomjs已經放棄維護了，使用中會出現進程無法正常關閉的情況，只能通過系統腳本kill，還有一個問題可以說非常致命了，在driver異常的時候不僅無法正常退出還可能將cpu占滿，很可能導致你其他進程的執行失敗。不推薦，真的不推薦。
- firefox：沒有phantomjs那兩個問題，用起來相對正常（有種說法是selenium對firefox支持最好）。缺點在于沒有無界面模式（也許有，但我翻了很多文檔都沒找到）；在程序異常是會輸出大量日志文件擠占磁盤空間（win下默認輸出在c:\windows\temp\）。這兩個缺點相對比較好克服，第一點，反正你一般也不會在你的爬蟲集群上面的機器進行操作所以影響不大；第二點，寫個腳本讓磁盤空間不足的時候自動刪除這個目錄就好了。
- Chrome:我現在使用的是這個。有無界面模式，缺點除了占點內存也沒什么（內存占用并沒有很夸張，比phantomjs多1/3不到的樣子）。希望谷歌爸爸的Chrome就這樣堅持下去不要出問題。
-
關于selenium使用代理的問題
假如你抓的是會封ip的網站，那你除了sleep更需要使用代理。給出常用設置方法：
- phantomjs:
from selenium import webdriver from selenium.webdriver.common.proxy import Proxy from selenium.webdriver.common.proxy import ProxyType from selenium.webdriver.common.desired_capabilities import DesiredCapabilities proxy = Proxy( { 'proxyType': ProxyType.MANUAL, 'httpProxy': 'ip:port' # 代理ip和端口 } ) # 配置對象DesiredCapabilities desired_capabilities = DesiredCapabilities.PHANTOMJS.copy() # 把代理ip加入配置對象 proxy.add_to_capabilities(desired_capabilities) driver = webdriver.PhantomJS( executable_path="/path/of/phantomjs", desired_capabilities=desired_capabilities ) driver.get('http://www.ip.cn/')- firefox:
from selenium import webdriver profile = webdriver.FirefoxProfile() profile.set_preference('network.proxy.type', 1) profile.set_preference('network.proxy.http', '127.0.0.1') profile.set_preference('network.proxy.http_port', 17890) #端口號為int profile.update_preferences() driver = webdriver.Firefox(firefox_profile=profile) driver.get('http://www.ip.cn/')- Chrome:
chromeOptions = webdriver.ChromeOptions() chromeOptions.add_argument('--proxy-server=http://ip:port') driver = webdriver.Chrome(chrome_options=chromeOptions) driver.get('http://www.ip.cn/')從代碼量上來看，我繼續安利Chrome
-
selenium的兩（san）種等待方式。
- time.sleep:不是selenium的等待方式，但有時候簡單粗暴出奇跡（原因看下面）。
- implicitly_wait(xx)：隱性等待。設置了一個最長等待時間，如果在規定時間內網頁加載完成，則執行下一步，否則一直等到時間截止。
-
WebDriverWait類：顯式等待，配合until()和until_not()方法。程序每隔x秒看一下，如果條件成立了，則執行下一步，否則繼續等待，直到超過設置的最長時間，然后拋出TimeoutException。
最長的等待時間取決于兩者之間的大者，如果隱性等待時間 > 顯性等待時間，則該句代碼的最長等待時間等于隱性等待時間。
網上說implicit_wait、WebDriverWait存在風險會遇見bug,我在使用時是沒遇見網上說法的運行錯誤的bug，但是在使用顯式等待時的確會遇見失效的現象，所以time.sleep出奇跡。
-
切換handle
#切換不同的tab頁 #driver.switch_to.window(window_name) #從A頁跳轉到B頁，句柄已經切換過去，但是頁面焦點沒有切過去，所以需要switch_to.window，把焦點也切過去，才可以在當前頁進行操作。 #切換是思路，獲取所有的句柄，因為返回是一個list，而且要切換的對象都是最新的，可以使用[-1]直接切過去 #例如： driver.switch_to.window(driver.window_handles[-1])``` -
切入iframe
與上面方法類似
切入：driver.switch_to.frame('xxx') iframe_list = self.driver.find_elements_by_tag_name('iframe') for iframe_item in iframe_list: self.driver.switch_to.frame(iframe_item) -
切入彈窗
切入：
driver.switch_to_alert() -
切出/回到原始頁面
使用與上面三種方法：
self.driver.switch_to.default_content() #返回原始driver -
頁面的刷新
我只是覺得很可能很多人不知道這個：
driver.refresh()
作者本人并不是特別建議在定點抓取類的爬蟲中使用selenium，主要原因是因為慢,selenium為了達到跨平臺跨瀏覽器的目的，采用了通過javascript來驅動瀏覽器動作的方法，而selenium為執行速度依賴于瀏覽器對js的解析執行速度，偏偏selenium無法很好的界定頁面加載情況（是加載完成還是在繼續執行某些操作），成也蕭何敗也蕭何。
假如定點類抓取中想要執行JavaScript,我本人是用PyV8，是一個Python封裝V8引擎的殼。能夠利用python來構建出JavaScript的運行時環境。不如后面的文章找一篇說下PyV8好了，大家周末愉快。
