所需知識點
1、動態數據抓包演示
2、json數據解析
3、requests模塊的使用
4、保存csv
安裝命令：requests >>> pip install requests
模塊安裝問題:
如果安裝python第三方模塊:
- win + R 輸入 cmd 點擊確定, 輸入安裝命令 pip install 模塊名 (pip install requests) 回車
-
在pycharm中點擊Terminal(終端) 輸入安裝命令
如何配置pycharm里面的python解釋器?
- 選擇file(文件) >>> setting(設置) >>> Project(項目) >>> python interpreter(python解釋器)
- 點擊齒輪, 選擇add
- 添加python安裝路徑
pycharm如何安裝插件?
- 選擇file(文件) >>> setting(設置) >>> Plugins(插件)
- 點擊 Marketplace 輸入想要安裝的插件名字 比如:翻譯插件 輸入 translation / 漢化插件 輸入 Chinese
- 選擇相應的插件點擊 install(安裝) 即可
- 安裝成功之后 是會彈出 重啟pycharm的選項 點擊確定, 重啟即可生效
案例實現思路流程: 可見即可爬...
一. 數據來源分析
通過開發者工具進行抓包分析, 分析自己想要數據內容 可以從哪里獲取
分析數據 從第二頁開始
- 打開開發者工具
- 點擊第二頁內容
- 點擊搜索按鈕, 進行搜索內容
- 查看服務器返回響應數據內容
二. 代碼實現步驟: 發送請求 >>> 獲取數據 >>> 解析數據 >>> 保存數據
用代碼去模擬瀏覽器發送請求獲取數據
- 發送請求, 對于剛剛分析得到url地址發送請求
- 獲取數據, 獲取服務器返回數據
- 解析數據, 提取我們想要數據內容 店鋪基本信息
- 保存數據, 把數據表格里面
代碼
1.導入模塊
import requests # 數據請求模塊
import pprint # 格式化輸出模塊
import csv # 內置模塊
import time
import re
def get_shop_info(html_url):
# url = 'https://www.meituan.com/xiuxianyule/193306807/'
headers = {
'Cookie': '_lxsdk_cuid=17e102d3914c8-000093bbbb0ed8-4303066-1fa400-17e102d3914c8; __mta=48537241.1640948906361.1640948906361.1640948906361.1; _hc.v=e83bebb5-d6ee-d90e-dd4b-4f2124f8f982.1640951715; ci=70; rvct=70; mt_c_token=2Tmbj8_Qihel3QR9oEXS4nEpnncAAAAABBEAAB9N2m2JXSE0N6xtRrgG6ikfQZQ3NBdwyQdV9vglW8XGMaIt38Lnu1_89Kzd0vMKEQ; iuuid=3C2110909379198F1809F560B5E33A58B83485173D8286ECD2C7F8AFFCC724B4; isid=2Tmbj8_Qihel3QR9oEXS4nEpnncAAAAABBEAAB9N2m2JXSE0N6xtRrgG6ikfQZQ3NBdwyQdV9vglW8XGMaIt38Lnu1_89Kzd0vMKEQ; logintype=normal; cityname=%E9%95%BF%E6%B2%99; _lxsdk=3C2110909379198F1809F560B5E33A58B83485173D8286ECD2C7F8AFFCC724B4; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; latlng=28.302546%2C112.868692; ci3=70; uuid=f7c4d3664ab34f13ad7f.1650110501.1.0.0; mtcdn=K; lt=9WbeLmhHHLhTVpnVu264fUCMYeIAAAAAQREAAKnrFL00wW5eC7mPjhHwIZwkUL11aa7lM7wOfgoO53f0uJpjKSRpO6LwCBDd9Fm-wA; u=266252179; n=qSP946594369; token2=9WbeLmhHHLhTVpnVu264fUCMYeIAAAAAQREAAKnrFL00wW5eC7mPjhHwIZwkUL11aa7lM7wOfgoO53f0uJpjKSRpO6LwCBDd9Fm-wA; unc=qSP946594369; firstTime=1650118043342; _lxsdk_s=18032a80c4c-4d4-d30-e8f%7C%7C129',
'Referer': 'https://chs.meituan.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36'
}
response = requests.get(url=html_url, headers=headers)
# print(response.text)
phone = re.findall('"phone":"(.*?)"', response.text)[0]
# \n 不是換行符, \n符號而已 \轉義字符給轉移掉
openTime = re.findall('"openTime":"(.*?)"', response.text)[0].replace('\\n', '')
address = re.findall('"address":"(.*?)"', response.text)[0]
shop_info = [phone, openTime, address]
return shop_info
# 保存文件 創建文件夾 encoding='utf-8' 指定編碼 如果說我用utf-8 還亂碼怎么辦
# w 會覆蓋, a不會覆蓋
f = open('究極無敵男人秘密最終版.csv', mode='a', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=[
'店名',
'人均消費',
'最低消費',
'商圈',
'店鋪類型',
'評分',
'電話',
'營業時間',
'地址',
'緯度',
'經度',
'詳情頁',
])
csv_writer.writeheader() # 寫入表頭
# html_url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70?uuid=f7c4d3664ab34f13ad7f.1650110501.1.0.0&userid=266252179&limit=32&offset=64&cateId=-1&q=%E4%BC%9A%E6%89%80&token=9WbeLmhHHLhTVpnVu264fUCMYeIAAAAAQREAAKnrFL00wW5eC7mPjhHwIZwkUL11aa7lM7wOfgoO53f0uJpjKSRpO6LwCBDd9Fm-wA'
1. 發送請求, 對于剛剛分析得到url地址發送請求 翻頁去分析請求url地址的變化規律
for page in range(0, 321, 32): # 從0 32 64 96 128 160 192 .... 320
time.sleep(1.5) # 延時等待 1.5S
url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/70'
# pycharm功能 快速批量替換, ctrl + R 選擇需要替換目標, 運用正則表達式進行批量替換
data = {
'uuid': 'f7c4d3664ab34f13ad7f.1650110501.1.0.0',
'userid': '266252179',
'limit': '32',
'offset': page,
'cateId': '-1',
'q': '會所',
'token': '9WbeLmhHHLhTVpnVu264fUCMYeIAAAAAQREAAKnrFL00wW5eC7mPjhHwIZwkUL11aa7lM7wOfgoO53f0uJpjKSRpO6LwCBDd9Fm-wA',
}
# headers 偽裝 python代碼的 外套
# User-Agent 用戶代理 瀏覽器基本的身份信息.... 最簡單反反爬的手段 為了防止被識別是爬蟲程序
# Referer 防盜鏈 告訴服務器我們請求url地址是從哪里跳轉過來
headers = {
'Referer': 'https://chs.meituan.com/',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/100.0.4896.88 Safari/537.36'
}
response = requests.get(url=url, params=data, headers=headers)
# print(response) # <Response [403]> 狀態碼 表示沒有訪問權限 防盜鏈 200 請求成功
image.png
2. 獲取數據 response.text 獲取文本數據字符串數據類型 response.json() 字典數據類型
# print(response.json())
# pprint.pprint(response.json()) # 老師版本是 python 3.8
3. 解析數據 字典取值, 根據鍵值對取值 根據冒號左邊的內容(鍵) 提取冒號右邊的內容(值)
searchResult = response.json()['data']['searchResult']
for index in searchResult: # 把列表里面數據 一個一個提取出來
# pprint.pprint(index)
href = f'https://www.meituan.com/xiuxianyule/{index["id"]}/'
shop_info = get_shop_info(href)
title = index['title'] # 店名
price = index['avgprice'] # 人均消費
lost_price = index['lowestprice'] # 最低消費
area = index['areaname'] # 商圈
shop_type = index['backCateName'] # 店鋪類型
score = index['avgscore'] # 評分
latitude = index['latitude'] # 緯度
longitude = index['longitude'] # 經度 ctrl + D 快速復制
# tab 集體縮進
# shift + tab 取消縮進
dit = {
'店名': title,
'人均消費': price,
'最低消費': lost_price,
'商圈': area,
'店鋪類型': shop_type,
'評分': score,
'電話': shop_info[0],
'營業時間': shop_info[1],
'地址': shop_info[2],
'緯度': latitude,
'經度': longitude,
'詳情頁': href,
}
4. 保存數據
csv_writer.writerow(dit)
print(dit)
尾語
好了，我的這篇文章寫到這里就結束啦！
有更多建議或問題可以評論區或私信我哦！一起加油努力叭(? ?_?)?
喜歡就關注一下博主，或點贊收藏評論一下我的文章叭！！！
