環(huán)境介紹：
- python 3.8 解釋器
- pycharm 2021專業(yè)版 >>> 激活碼 編輯器
- 谷歌瀏覽器
- 谷歌驅(qū)動
- selenium >>> 驅(qū)動 >>> 瀏覽器
模塊使用：
采集一個視頻
- requests >>> pip install requests
- re
采集多個視頻
- selenium >>> pip install selenium==3.141.0 (3.141.0)
指定模塊版本去安裝 使用這個模塊安裝瀏覽器驅(qū)動 - time
如果安裝python第三方模塊:
- win + R 輸入 cmd 點擊確定, 輸入安裝命令 pip install 模塊名 (pip install requests) 回車
- 在pycharm中點擊Terminal(終端) 輸入安裝命令
如何配置pycharm里面的python解釋器?
- 選擇file(文件) >>> setting(設置) >>> Project(項目) >>> python interpreter(python解釋器)
- 點擊齒輪, 選擇add
- 添加python安裝路徑
pycharm如何安裝插件?
- 選擇file(文件) >>> setting(設置) >>> Plugins(插件)
- 點擊 Marketplace 輸入想要安裝的插件名字 比如:翻譯插件 輸入 translation / 漢化插件 輸入 Chinese
- 選擇相應的插件點擊 install(安裝) 即可
- 安裝成功之后 是會彈出 重啟pycharm的選項 點擊確定, 重啟即可生效
案例基本流程思路:
一. 分析數(shù)據(jù)來源
- 確定自己需求 , 我們采集內(nèi)容是什么? 采集那個網(wǎng)站... 先采集一個視頻, 然后再去采集多個視頻
- 通過開發(fā)者工具進行抓包分析..
I. 開發(fā)者工具 網(wǎng)頁瀏覽器自帶, F12 或者鼠標右鍵點擊檢查選擇network
II. 刷新網(wǎng)頁....讓網(wǎng)頁數(shù)據(jù)內(nèi)容重新完整加載一遍 <找視頻數(shù)據(jù)內(nèi)容>
III. 通過network下面的media里面找到視頻url地址
IV. 不夠.. >>> 分析這個視頻url地址從哪里來的... 通過抓包分析, 得到url地址 通過一次編碼
二. 代碼實現(xiàn)的步驟 爬蟲基本四大步驟....
- 發(fā)送請求, 對于剛剛分析得到url地址發(fā)送請求 https://www.douyin.com/video/7086835442330504488
- 獲取數(shù)據(jù), 獲取服務器返回響應數(shù)據(jù)
- 解析數(shù)據(jù), 提取我們想要視頻url地址以及視頻標題
- 保存數(shù)據(jù), 把視頻內(nèi)容保存本地文件夾
代碼
導入模塊
import requests # 導入數(shù)據(jù)請求模塊 第三方模塊 pip install requests
import re # 導入正則表達式模塊 內(nèi)置模塊
from selenium import webdriver
import time # 時間模塊
selenium
用selenium模塊用驅(qū)動<瀏覽器>操作瀏覽器人怎么去操作瀏覽器, 怎么去寫代碼
- 打開瀏覽器
webdriver.Chrome(executable_path="chromedriver") 括號里面是需要加驅(qū)動路徑
如果你驅(qū)動放在和代碼一個文件夾里面, 可以不用寫路徑
或者你的驅(qū)動放在python安裝目錄里面 也可以不用寫路徑
其他位置, 都需要指定路徑位置- 輸入網(wǎng)址
- 查看網(wǎng)頁內(nèi)容
requests請求數(shù)據(jù),獲取服務器返回數(shù)據(jù)內(nèi)容 selenium你可以直接根據(jù)元素面板去定位數(shù)據(jù)內(nèi)容
爬蟲模擬瀏覽器對于url地址發(fā)送請求, 最后獲取服務返回響應數(shù)據(jù)
發(fā)送請求:
- 確定url
- 模擬偽裝
請求頭headers 是可以直接在開發(fā)者工具里面復制粘貼 request headers 直接復制
字典數(shù)據(jù)類型, 構建完整鍵值對形式
user-agent 用戶代理 表示瀏覽器基本身份標識- 請求方式
狀態(tài)碼 200 表示請求成功... 但是不一定得到你想要的數(shù)據(jù)...沒有得到你想要數(shù)據(jù)內(nèi)容, 是什么原因?qū)е碌? <被反爬了> 為什么被反爬了 因為你被識別出來 你是爬蟲程序
比如說: 超市面試試吃 老是你來吃東西<一直你是Ip請求快速>, 不給你吃了 <IP被封>
driver = webdriver.Chrome() # 實例化一個瀏覽器對象
driver.get('https://www.douyin.com/user/MS4wLjABAAAAUXBNFnWLvl9T8ylgAbD1auR_o5FL3dF7ic0KMYN9_88')
driver.implicitly_wait(10)
def drop_down():
for x in range(1, 30, 4):
time.sleep(1)
j = x / 9
js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
driver.execute_script(js)
list_1 = [1, 2, 3, 4, 5, 6, 7]
list_1[1:]
drop_down()
lis = driver.find_elements_by_css_selector(
'div.mwbaK9mv > div:nth-child(2) > ul .ECMy_Zdt') # 通過 css 選擇器查找元素 獲取多個li標簽返回列表
# url_list = [li.find_element_by_css_selector('a').get_attribute('href') for li in lis]
for li in lis:
try:
time.sleep(1)
url = li.find_element_by_css_selector('a').get_attribute('href')
# url = 'https://www.douyin.com/video/7087141617865346304' # 網(wǎng)址
headers = {
'cookie': 'douyin.com; ttcid=444dfe8e89ff4d99b0662076ad171c8775; ttwid=1%7CTnFKlrGi3lHjKf5bshFdP9Nwu_Vsiwo-TxvX9NISgj8%7C1642083887%7Cfbfa904ea2900763eb6ac090bdd09014d80840da1ca485bbfea193d5401b330e; MONITOR_WEB_ID=c27b9f4a-4917-4256-be93-e948308467e3; odin_tt=0510c3c4196f54b541a96ac64e8b585b3a755be85057da8a1f3fa068e3f7b75ca2de4345e2b856f1e7b3f9455d86079731fe7d07a9f10890f26855d3674858e1; passport_csrf_token=e0b90cb756903c370592bd558c2b0cf5; passport_csrf_token_default=e0b90cb756903c370592bd558c2b0cf5; s_v_web_id=verify_l268jj46_kc7yYkD6_YHWW_4x4v_9snI_EDE0zro77uRn; AVATAR_FULL_LOGIN_GUIDE_COUNT=1; AVATAR_FULL_LOGIN_GUIDE_TIMESTAMP=1650982839652; AVATAR_FULL_LOGIN_GUIDE_ITA_COUNT=1; AVATAR_FULL_LOGIN_GUIDE_ITA_TIMESTAMP=1650982839652; __ac_nonce=0627ba36600d465d72261; __ac_signature=_02B4Z6wo00f01zrB8EAAAIDCWcswKSh.eLM65fTAAKzW8srQpmSjmL6YX9IsdmMSL4a9EBuyJvIwNMROqFQktniG-Ur-UDPK6wHInC8QKqRYUmyGnflwUXLpKzPgVt2FtREyprGmCDAZLrIpcc; douyin.com; strategyABtestKey=1652269927.635; AB_LOGIN_GUIDE_TIMESTAMP=1652269927510; AVATAR_LOGIN_GUIDE_COUNT=1; _tea_utm_cache_2285=undefined; _tea_utm_cache_6383=undefined; _tea_utm_cache_1300=undefined; pwa_guide_count=3; IS_HIDE_THEME_CHANGE=1; THEME_STAY_TIME=299808; msToken=XGPVAVUHDi9iTEQRjdXuQ0YyetxhHq0c9EH1dLLpttanbCXsNSD0DRxwk9oUB0vZ7LB9vKd-ABi2kAkzj2lCn1x98lJ4iTFbf260RcLav-G4QkhNyq8qV9i3oEJRyc8t; home_can_add_dy_2_desktop=1; msToken=3ALqenaebbJHw7kQDiDG6aRAgVYm5WM1pVGqmyyidbGgYpWRWKn-wQ9tcjoxWrHvwcqoYAx3tQ4IGE1qixdq2ei_fPrirMeeI6HeooU3sGR2wyWQ2OAAh2RejVJOrmpA; tt_scid=Gp0q0JW0LDreTqplgpajIZNHCB0.p1NcVv0hhZBgaGDw4SFxkXGlXfKafiCVmWAWc537',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.54 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
# print(url)
# <Response [200]> 響應對象 200 狀態(tài)碼 表示請求成功 response.text 獲取響應對象文本數(shù)據(jù)
# print(response.text)
"""
數(shù)據(jù)解析, 提取我們想要數(shù)據(jù)內(nèi)容
re正則表達式 <在付費課程 2.5個小時的內(nèi)容講解完>
re.findall() 調(diào)用re模塊里面findall方法 去查詢匹配數(shù)據(jù)
找到所有 >>> 從什么地方去找什么樣數(shù)據(jù) (.*?) 表示你想要數(shù)據(jù)內(nèi)容, 通配符, 可以匹配任意字符(除了換行符以外)
"""
title = re.findall('<title data-react-helmet="true">(.*?)</title>', response.text, re.S)[0]
title = re.sub(r'[/\:*?"<>|\n]', '', title)
video_url = re.findall('src(.*?)%22%7D%2C%7B%22src', response.text)[0] # 編碼的內(nèi)容獲取
video_url_1 = requests.utils.unquote(video_url).replace('":"', 'https:') # 解碼
# 編碼 requests.utils.quote
# 就業(yè)工作 1 接單賺錢 2
# print(title)
# print(video_url)
# print(video_url_1)
video_content = requests.get(url=video_url_1, headers=headers).content # 發(fā)送請求獲取二進制數(shù)據(jù)內(nèi)容
解答、資料、教程可加Q裙：261823976免費領
with open('img\\' + title + '.mp4', mode='wb') as f:
f.write(video_content) # 寫入內(nèi)容
print('正在保存: ', title)
except Exception as e:
print(e)
尾語
成功沒有快車道，幸福沒有高速路。
所有的成功，都來自不倦地努力和奔跑，所有的幸福都來自平凡的奮斗和堅持
——勵志語錄
本文章就寫完啦~感興趣的小伙伴可以復制代碼去試試
你們的支持是我最大的動力！！記得三連哦~ ?? 歡迎大家閱讀往期的文章呀
