selenium使用方法

參考自(網(wǎng)易云課堂知了課堂-21天學(xué)會(huì)分布式爬蟲)

1.獲取ajax數(shù)據(jù)的方式

  1. 直接分析ajax調(diào)用的接口。然后通過代碼請求這個(gè)接口。
  2. 使用Selenium+chromedriver模擬瀏覽器行為獲取數(shù)據(jù)。
方式 優(yōu)點(diǎn) 缺點(diǎn)
分析接口 直接可以請求到數(shù)據(jù)。不需要做一些解析工作。代碼量少,性能高。 分析接口比較復(fù)雜,特別是一些通過js混淆的接口,要有一定的js功底。容易被發(fā)現(xiàn)是爬蟲
selenium 直接模擬瀏覽器的行為。瀏覽器能請求到的,使用selenium也能請求到。爬蟲更穩(wěn)定。 代碼量多。性能低。

2.Chromedriver

ChromeDriver下載地址:https://sites.google.com/a/chromium.org/chromedriver/downloads

3.Selenium+chromedriver安裝及使用

1.安裝Selenium

pip install selenium

2.引入chromedriver

from selenium import webdriver

# chromedriver的絕對路徑
driver_path = r'E:\chromedriver\chromedriver.exe'

# 初始化一個(gè)driver,并且指定chromedriver的路徑
driver = webdriver.Chrome(executable_path=driver_path)

3.Selenium基本操作方法

  1. 基礎(chǔ)操作
# 請求網(wǎng)頁
driver.get("https://www.baidu.com/")

# 關(guān)閉網(wǎng)頁
driver.close()

# 關(guān)閉瀏覽器
driver.quit()

  1. 查找Html元素
# 根據(jù)ID來查找某個(gè)元素
driver.find_element_by_id('')
driver.find_element(BY.ID,"")

# 根據(jù)類名來查找某個(gè)元素
driver.find_element_by_class_name('')
driver.find_element(BY.CLASS_NAME,'')

# 根據(jù)name屬性來找查找某個(gè)元素
driver.find_element_by_name("")
driver.find_element(BY.NAME,"")

# 根據(jù)標(biāo)簽名來查找某個(gè)元素
driver.find_element_by_tag_name('')
driver.find_element(BY.TAG_NAME'')

# 根據(jù)xpath語法來查找某個(gè)元素
driver.find_element_by_xpath('//div')
driver.find_element(BY.XPATH,'//div')

# 根據(jù)css選擇器來查找某個(gè)元素
driver.find_element_by_css_selector('//div')
driver.find_element(BY.CSS_SELECTOR,'//div')

find_element是獲取第一個(gè)滿足條件的元素。find_elements是獲取所有滿足條件的元素。

  1. 操作表單元素
  • 操作輸入框
# 找到輸入框元素
inputTag = driver.find_element_by_id('kw')

# 填充數(shù)據(jù)
inputTag.send_keys("python")

# 清除數(shù)據(jù)
inputTag.clear()

  • 操作checkbox
# 選擇checkbox內(nèi)標(biāo)簽對應(yīng)的name值
rememberTag = driver.find_element_by_name("rememberMe")

# 執(zhí)行選中操作
rememberTag.click()

  • 操作select

    select元素不能直接點(diǎn)擊。因?yàn)辄c(diǎn)擊后還需要選中元素。這時(shí)候selenium就專門為select標(biāo)簽提供了一個(gè)類<mark style="box-sizing: border-box;">selenium.webdriver.support.ui.Select</mark>。將獲取到的元素當(dāng)成參數(shù)傳到這個(gè)類中,創(chuàng)建這個(gè)對象。以后就可以使用這個(gè)對象進(jìn)行選擇了。

from selenium.webdriver.support.ui import Select

 # 選中這個(gè)標(biāo)簽,然后使用Select創(chuàng)建對象
 selectTag = Select(driver.find_element_by_name("jumpMenu"))

 # 根據(jù)索引選擇
 selectTag.select_by_index(1)

 # 根據(jù)值選擇
 selectTag.select_by_value("http://www.95yueba.com")

 # 根據(jù)可視的文本選擇
 selectTag.select_by_visible_text("95秀客戶端")

 # 取消選中所有選項(xiàng)
 selectTag.deselect_all()

  • 操作按鈕
# 選中按鈕
inputTag = driver.find_element_by_id('su')

# 點(diǎn)擊
inputTag.click()

4.行為鏈

有時(shí)候在頁面中的操作可能要有很多步,那么這時(shí)候可以使用鼠標(biāo)行為鏈類ActionChains來完成。比如現(xiàn)在要將鼠標(biāo)移動(dòng)到某個(gè)元素上并執(zhí)行點(diǎn)擊事件。

# 獲取輸入框
inputTag = driver.find_element_by_id('kw')
# 獲取提交按鈕
submitTag = driver.find_element_by_id('su')

#初始化行為鏈
actions = ActionChains(driver)

# 輸入框輸入內(nèi)容
actions.move_to_element(inputTag)
actions.send_keys_to_element(inputTag,'python')

# 點(diǎn)擊提交按鈕
actions.move_to_element(submitTag)
actions.click(submitTag)

# 執(zhí)行行為鏈
actions.perform()

還有更多的鼠標(biāo)相關(guān)的操作。

click_and_hold(element):點(diǎn)擊但不松開鼠標(biāo)。

context_click(element):右鍵點(diǎn)擊。

double_click(element):雙擊。

5.Cookies操作

1.獲取所有cookies

for cookie in driver.get_cookies():
    print(cookie)

2.根據(jù)cookie的key獲取value

value = driver.get_cookie(key)

3.刪除所有的cookie

driver.delete_all_cookies()

4.刪除某個(gè)cookie

driver.delete_cookie(key)

6.切換頁面

# 打開一個(gè)新的頁面
driver.execute_script("window.open('"+url+"')")

# 切換到這個(gè)新的頁面中
driver.switch_to_window(driver.window_handles[1])
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲(chǔ)服務(wù)。