由于 JavaScript 動態(tài)渲染的頁面不止 Ajax 這一種，有些網(wǎng)站獲取數(shù)據(jù)并不包含Ajax請求，有些網(wǎng)站是對 Ajax 進(jìn)行加密處理；為了解決這寫問題，我們可以直接使用模擬瀏覽器運行的方式來實現(xiàn)，這樣就可以做到在瀏覽器中看到是什么樣，抓取的源碼就是什么樣，也就可見即可抓。
Python提供了許多模擬瀏覽器運行的庫，如 Selenium、Splash、PyV8、Ghost 等；我們接下來以 Selenium為例，那么要使用的話我們就必須要做相應(yīng)的安裝，這里要注意一點的是由于我們操作的是 谷歌瀏覽器，因此再使用這個庫之前必須要先安裝好 谷歌瀏覽器以及操作瀏覽器的驅(qū)動執(zhí)行文件。
一、操作前準(zhǔn)備
- 安裝谷歌瀏覽器
- 通過命令安裝庫：pip install selenium
- 下載谷歌瀏覽器驅(qū)動并配置環(huán)境變量 http://npm.taobao.org/mirrors/chromedriver/
二、基本操作
- 自動打開百度首頁并休眠幾秒鐘后自動關(guān)閉
from selenium import webdriver
import time
driver = webdriver.Chrome() # 創(chuàng)建實例
driver.get("http://www.baidu.com") # 請求百度首頁
time.sleep(6) # 睡眠六秒
driver.quit() # 退出瀏覽器
執(zhí)行代碼后即可看到如下效果：
image.png
-
接下來我們以一下網(wǎng)頁操作為例子（代碼中有詳細(xì)的注釋）,先看網(wǎng)頁效果：
image.png
操作代碼如下(注：操作的組件即屬性的話在源碼中查看)：
from selenium import webdriver
import time
# driver = webdriver.Chrome() # 創(chuàng)建實例
# driver.get("http://www.baidu.com") # 請求百度首頁
# time.sleep(6) # 睡眠六秒
# driver.quit() # 退出瀏覽器
# browser = webdriver.Chrome()
# browser.get("https://3416230579.github.io/page/index.html")
# 操作一
#elemt = browser.find_element_by_id("element_id") #根據(jù) id 獲取對象
# elemt = browser.find_element_by_name("element_id") #根據(jù) name 獲取對象
# print(elemt.tag_name) #返回標(biāo)簽名
# print(elemt.text) #返回標(biāo)簽的值
# elemt.send_keys("哈哈哈")#給標(biāo)簽輸入值
# 操作二
# elemt = browser.find_element_by_link_text("find_element_by_link_text")
# print(elemt.tag_name) #返回標(biāo)簽名
# print(elemt.text) #返回標(biāo)簽的值
# elemt.click()#點擊
# 操作三
# 利用 css選擇器 獲取 class='highlight' 標(biāo)簽對象并自動填值
# elemt = browser.find_element_by_css_selector(".highlight")
# elemt.send_keys("啦啦啦")
# # 利用 xpath 獲取 id='xpathname' 標(biāo)簽對象并自動填值
# elemt = browser.find_element_by_xpath(r'//*[@id="xpathname"]')
# elemt.send_keys("我的 xpath")
# 操作四
# 獲取跳轉(zhuǎn)后頁面的源碼
# time.sleep(2)
# elemt = browser.find_element_by_link_text("find_element_by_link_text")
# elemt.click()
# browser.switch_to_window(browser.window_handles[1])
# print(browser.page_source)
# 操作五
# 操作彈出框
# time.sleep(2)
# elem = browser.find_element_by_tag_name("button")
# elem.click()
# time.sleep(2)
# browser.switch_to_alert().accept() # 切換到彈出框操作
# 操作六
# 跳轉(zhuǎn)和回退操作
# time.sleep(2)
# elem = browser.find_element_by_link_text("forward_back")
# elem.click() # 點擊跳轉(zhuǎn)
# time.sleep(1)
# browser.back() # 點擊回退
# time.sleep(2)
# browser.forward() # 調(diào)到上一次點擊
# time.sleep(1)
# browser.back() # 回退
# 操作七
# Cookies 的操作
# browser = webdriver.Chrome()
# browser.get("https://www.baidu.com")
# print(browser.get_cookies()) # 輸出全部的 cookie 的信息
# 添加一個 cookie
# browser.add_cookie({"name":"luchangyin", "domian":"www.baidu.com","value":"肥牛沖天"})
# print(browser.get_cookies())
# browser.delete_all_cookies() # 全部刪除
# print(browser.get_cookies())
# 操作八
# 自動打開百度并根據(jù)關(guān)鍵字搜索相關(guān)的內(nèi)容
from selenium.webdriver.common.keys import Keys
browser = webdriver.Chrome()
browser.get("https://www.baidu.com")
elem = browser.find_element_by_id("kw")
elem.send_keys("python爬蟲") # 輸入
time.sleep(2) # 休眠
elem.send_keys(Keys.RETURN) # 回車
time.sleep(3)
browser.quit() # 關(guān)閉
三、實戰(zhàn) - 登錄知乎并爬取信息
1）先看觀察登錄界面的標(biāo)簽規(guī)律：
image.png
2）導(dǎo)入我們所需要的所有包：
from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException, NoSuchElementException
3)根據(jù)效果圖編寫登錄代碼：
# 聲明瀏覽器對象
browser = webdriver.Chrome()
browser.get("https://www.zhihu.com/signin")
def login_zhihu(browser):
try:
#獲取登錄用戶名
elem = browser.find_element_by_name("username")
elem.clear() # 清空
elem.send_keys("用戶名") # 自動填值
elem.send_keys(Keys.RETURN)#回車
time.sleep(3)
#獲取登錄密碼
elem = browser.find_element_by_name("password")
elem.clear()
elem.send_keys("密碼")
elem.send_keys(Keys.RETURN)#回車
time.sleep(2)
print("開始登陸...")
#Button SignFlow-submitButton Button--primary Button--blue
elem = browser.find_element_by_css_selector(".Button.SignFlow-submitButton.Button--primary.Button--blue")
#elem = browser.find_element_by_xpath(r'//button[@class="Button SignFlow-submitButton Button--primary Button--blue"]')
elem.click()
print("開始休眠...")
#顯示等待 選擇“首頁”選項
element = WebDriverWait(browser, 15).until(EC.title_contains(u'首頁'))
print("已選擇...")
except TimeoutException:
print("Time Out")
except NoSuchElementException:
print("No Element")
-
觀察登陸后的頁面：
image.png - 獲取代碼如下:
# url 去重
urls = set()
def get_information(browser):
print("開始獲取信息。。。")
elems = browser.find_elements_by_css_selector(".ContentItem-title")
for elem in elems:
link_elem = elem.find_element_by_tag_name("a")
if link_elem.text in urls:
pass
else:
print(link_elem.text) # 標(biāo)題
print(link_elem.get_attribute("href")) # 鏈接
urls.add(link_elem.get_attribute("href"))
6）將進(jìn)度條自動下拉到最底部實現(xiàn) js 的加載：
# 滾動加載
def scroll_load(browser):
#利用 execute_script() 方法將進(jìn)度條下拉到最底部
browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
browser.implicitly_wait(2) # 隱式等待
7）編寫主函數(shù)并調(diào)用：
# 主主函數(shù)
def main():
login_zhihu(browser) # 登錄函數(shù)
for i in range(3): #滾動三次
get_information(browser) # 獲取標(biāo)題與鏈接
scroll_load(browser) # 滾動
time.sleep(1) # 休眠
# 函數(shù)入口調(diào)用
if __name__ == '__main__':
main()
input("按任意鍵退出-> ")
browser.quit()
運行結(jié)果如下：
image.png
8）當(dāng)使用有界面爬取少量頁面信息的方式還好，但是爬取很多頁面的話那可就不好了-太多彈出窗口頁面，值得注意的是： 從 Chrome 59 開始已經(jīng)開始支持 Headless 模式，即無界面模式，這樣爬取的時候就無需彈出瀏覽器界面了，接下來我們簡單的去使用以下：
chrome_options = webdriver.ChromeOptions() # 獲取 ChromeOptions 對象
chrome_options.add_argument('--headless') # 添加 headless 參數(shù)
browser = webdriver.Chrome(chrome_options=chrome_options) # 初始化 Chrome 對象
browser.get(r"http://www.baidu.com/")
# 截屏
browser.get_screenshot_as_file("C:\\Users\\Administrator\\Desktop\\aaa\\daima\\lcy.jpg")
html = browser.page_source # 這里是源碼，接下來就可以使用 正則 或者 xpath 表達(dá)式解析了
print("成功提取源碼-> ", html)
執(zhí)行程序之后輸出源碼的同時在制定的地址中可以看到截取的圖片，效果如下：
image.png
經(jīng)過這次實戰(zhàn)，我相信同學(xué)們對 Selenium 有一定的了解了，接下來不妨去爬取一下 "騰訊視屏的評論" 練練手吧！嘿嘿，加油哦！
