本次內容：
Python爬取某汽車網站
本次亮點:
- 系統分析目標網頁
- html標簽數據解析方法
- 海量數據一鍵保存
環境介紹:
- python 3.8 anaconda: 自動配置環境變量
- pycharm 2021專業版 >>> 激活碼
- requests >>> pip install requests
- parsel >>> pip install parsel
模塊安裝:
按住鍵盤 win + r, 輸入cmd回車 打開命令行窗口, 在里面輸入 pip install 模塊名
爬蟲程序:
批量采集互聯網數據(文本, 圖片, 視頻, 音頻)
本質:
一次一次請求與響應
一.明確需求
我們要爬取內容是什么? 在哪里?
每一輛車信息
在網頁源代碼當中
二. 代碼實現
- 發送請求 https://www.che168.com/china/a0_0msdgscncgpi1ltocsp1exx0/?pvareaid=102179
- 獲取數據 網頁源代碼
- 解析數據(篩選數據) 工具幫助我們去做數據解析 parsel 第三方模塊 需要大家去下載安裝
- 保存數據
導入模塊
import requests # 發送請求
import parsel
import csv
偽裝
headers = {
'Cookie': 'userarea=0; listuserarea=0; fvlid=1639134728358TfiUoYkPyH86; sessionid=530d5f12-0c83-42b6-8a5a-7260ce6d0507; sessionip=175.0.62.169; area=430103; che_sessionid=652B6AFA-A370-444B-A099-D891A75FB0BD%7C%7C2021-12-10+19%3A12%3A09.393%7C%7C0; Hm_lvt_d381ec2f88158113b9b76f14c497ed48=1639134728,1639137478; ahpvno=4; Hm_lpvt_d381ec2f88158113b9b76f14c497ed48=1639144859; ahuuid=77E92EB7-7EEF-4366-A036-72BD8BDD2500; sessionvisit=b3c4a319-d202-4fb8-871a-5d7e683bf852; sessionvisitInfo=530d5f12-0c83-42b6-8a5a-7260ce6d0507|www.che168.com|102179; showNum=4; v_no=4; visit_info_ad=652B6AFA-A370-444B-A099-D891A75FB0BD||62B11FCC-BC2B-492B-9EB4-98A135366FC6||-1||-1||4; che_ref=0%7C0%7C0%7C0%7C2021-12-10+22%3A00%3A59.875%7C2021-12-10+19%3A12%3A09.393; che_sessionvid=62B11FCC-BC2B-492B-9EB4-98A135366FC6; sessionuid=530d5f12-0c83-42b6-8a5a-7260ce6d0507',
# 瀏覽器基本信息
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.93 Safari/537.36'
}
4.保存數據
csv_qczj = open('qczj_1.csv', mode='a', encoding='utf-8', newline='')
csv_write = csv.writer(csv_qczj)
# csv_write.writerow(['品牌', '里程(萬公里)', '車齡', '城市', '認證', '售價(萬元)', '原價(萬元)', '鏈接', '車輛圖片'])
for page in range(92, 101):
print(f'-----------------------正在爬取第{page}頁-----------------------')
1.發送請求
url = f'https://www.che168.com/china/a0_0msdgscncgpi1ltocsp{page}exx0/?pvareaid=102179'
response = requests.get(url=url, headers=headers)
# 設置編碼
# response.encoding = 'gbk'
2. 獲取數據 網頁源代碼
# <Response [200]>: 發送請求成功
data_html = response.text
3. 解析數據(篩選數據)
selector = parsel.Selector(data_html)
lis = selector.css('.viewlist_ul li')
for li in lis:
try:
name = li.css('.card-name::text').get() # 車名
unit = li.css('.cards-unit::text').get() # 信息
kmNumber = unit.split('／')[0]
years = unit.split('／')[1]
city = unit.split('／')[2]
business = unit.split('／')[3]
price = li.css('.pirce em::text').get() # 售價
yprice = li.css('s::text').get() # 原價
carinfo = li.css('.carinfo::attr(href)').get() # 詳情頁鏈接
img = li.css('img::attr(src)').get() # 車圖片鏈接
print(name, kmNumber, years, city, business, price, yprice, carinfo, img)
csv_write.writerow([name, kmNumber, years, city, business, price, yprice, carinfo, img])
except:
pass
模塊安裝問題:
如果安裝python第三方模塊:
- win + R 輸入 cmd 點擊確定, 輸入安裝命令 pip install 模塊名 (pip install requests) 回車
- 在pycharm中點擊Terminal(終端) 輸入安裝命令
安裝失敗原因:
失敗一:
pip 不是內部命令
解決方法: 設置環境變量
失敗二: 出現大量報紅 (read time out)
解決方法: 因為是網絡鏈接超時, 需要切換鏡像源
清華：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云：http://mirrors.aliyun.com/pypi/simple/
中國科技大學 https://pypi.mirrors.ustc.edu.cn/simple/
華中理工大學：http://pypi.hustunique.com/
山東理工大學：http://pypi.sdutlinux.org/
豆瓣：http://pypi.douban.com/simple/
例如：pip3 install -i https://pypi.doubanio.com/simple/ 模塊名
失敗三: cmd里面顯示已經安裝過了, 或者安裝成功了, 但是在pycharm里面還是無法導入
解決方法: 可能安裝了多個python版本 (anaconda 或者 python 安裝一個即可)
卸載一個就好或者你pycharm里面python解釋器沒有設置好
如何配置pycharm里面的python解釋器?
- 選擇file(文件) >>> setting(設置) >>> Project(項目) >>> python interpreter(python解釋器)
- 點擊齒輪, 選擇add
- 添加python安裝路徑
pycharm如何安裝插件?
- 選擇file(文件) >>> setting(設置) >>> Plugins(插件)
- 點擊 Marketplace 輸入想要安裝的插件名字 比如:翻譯插件 輸入 translation / 漢化插件 輸入 Chinese
- 選擇相應的插件點擊 install(安裝) 即可
- 安裝成功之后 是會彈出 重啟pycharm的選項 點擊確定, 重啟即可生效
結束語
好了，我的這篇文章寫到這里就結束啦！
有更多建議或問題可以評論區或私信我哦！一起加油努力叭(? ?_?)?
喜歡就關注一下博主，或點贊收藏評論一下我的文章叭！！！
