需求
- 爬取若干頁上的商品
- 不包含推廣商品和轉轉商品
- 獲取相應商品的詳細信息，例如：標題、發布時間、成色、價格、區域、瀏覽量等
開發環境
Win7 64bit、Python3.5
代碼
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests
import time
agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'
cookie = 'f=n; f=n; id58=c5/ns1dl9yy83HPfDdvGAg==; ipcity=zz%7C%u90D1%u5DDE%7C0; als=0; __utma=253535702.38279276.1466300209.1466300209.1466300209.1; __utmc=253535702; __utmz=253535702.1466300209.1.1.utmcsr=zz.58.com|utmccn=(referral)|utmcmd=referral|utmcct=/; bj=201661993651; bj58_id58s="WEVVdFlpeD1VM3hkNjQ3MQ=="; sessionid=e2fa9381-317b-4e3f-9e1c-fd3705f6c894; myfeet_tooltip=end; 58home=bj; __track_id=20160619093746385471429630431203178; Hm_lvt_4d4cdf6bc3c5cb0d6306c928369fe42f=1466300268; Hm_lpvt_4d4cdf6bc3c5cb0d6306c928369fe42f=1466300268; city=bj; bdshare_firstime=1466300280136; bangbigtip2=1; f=n; final_history=26224745105338%2C25245379987755%2C26394563690054%2C26399654836521%2C26010296256313; bj58_new_session=0; bj58_init_refer=""; bj58_new_uv=3; 58tj_uuid=1b067d6e-d9f3-4b82-818b-3cdd2263501c; new_session=0; new_uv=3; utm_source=; spm=; init_refer='
referer = 'http://bj.58.com/pbdnipad/0/?PGTID=0d3065d1-0000-114f-c494-6fa3a1961632&ClickID=1'
headers = {'User-Agent':agent,'Cookie':cookie,'Referer':referer}
# 獲取頁面上除了推廣和轉轉外，所有商品的鏈接，將鏈接存儲在list中返回。函數有兩個參數，end_page參數，
# 表示要獲取商品的頁數，sale參數默認為0，表示要獲取個人商品，若要獲取商家商品時，將sale置為1。
def get_links_from_page(end_page,sale=0):
links= []
for page in range(1,end_page+1):
url = 'http://bj.58.com/pbdn/{}/pn{}/'.format(sale,page)
r = requests.get(url, headers=headers)
if r.status_code != 200:
continue
time.sleep(4)
soup = BeautifulSoup(r.text, 'lxml')
for tr in soup.select('#infolist > table.tbimg'): #避開了推廣商品
for item in tr.find_all('tr', class_=''): #避開了轉轉商品，注意class_的寫法
links.append(item.select('td.t > a.t')[0].get('href'))
# print(links)
return links
# 獲取某一個商品的瀏覽量,瀏覽量是js控制的，直接抓取標簽會返回0，在headers中藥加入referer
def get_views(url):
id = url.split('?')[0].split('/')[-1].strip('x.shtml')
infoid = 'http://jst1.58.com/counter?infoid={}'.format(id)
r = requests.get(infoid,headers=headers)
views = r.text.split('=')[-1]
return views
# 獲取商品的信息
def get_info(end_page,sale=0):
urls = get_links_from_page(end_page,sale=0)
for url in urls:
r = requests.get(url, headers = headers)
if r.status_code != 200:
continue
time.sleep(2)
soup = BeautifulSoup(r.text, 'lxml')
cate = soup.select('span > a[)
title = soup.select('div > h1')
date = soup.select('li.time')
price = soup.select('span.price')
state = soup.find_all('div', 'su_con')
region = soup.select('.c_25d')
data = {
'category':cate[0].get_text(),
'title':title[0].get_text(),
'date':date[0].get_text(),
'price':price[0].get_text(),
'state':list(state[1].stripped_strings)[0],
'region':''.join(list(region[0].stripped_strings)) if len(region)!=0 else '-',
'seller':'個人' if sale == 0 else '商家',
'views': get_views(r.url), #重定向鏈接
}
print(data)
# 爬取前兩頁的信息
get_info(2)
運行結果
遇到的問題和解決方案
獲取瀏覽量時，Chrome一直顯示瀏覽量為0，即使刷新后也沒有變化，在Sources中也沒有發現任何URL返回瀏覽量信息。折騰了一個晚上，發現是chrome中的adblock plus沒關，關掉后一切正常了。
使用get_view()函數獲取瀏覽量，最初只把相應的網站傳入，結果發有一個商品的瀏覽量是0，后來發現該鏈接有重定向鏈接，使用
r.url獲取重定向后的鏈接即可。選取網頁元素時，使用CSS Selector復制路徑即可，但是復制的路徑不一定能用，如果出現nth-child()，要改為nth-of-type()。路徑中的'>'兩邊要有空格，否則會報錯。
<tbody>標簽導致無法正常選取標簽
在最初編程時，為了避免選中推廣商品的標簽，曾將路徑設為#infolist > table.tbimg > tbody > tr > td.t > a.t(這樣依然會選中轉轉商品)，結果竟然返回[]。代碼如下：
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
import requests
url = 'http://bj.58.com/pbdn/0/'
r = requests.get(url)
soup = BeautifulSoup(r.text, 'lxml')
tag = soup.select(#infolist > table.tbimg > tbody > tr > td.t > a.t)
print(tag)
#結果為[]
原因和解決方案：
雖然在Elements下存在tbody標簽，但是網頁源代碼中并沒有該標簽，如果使用print(soup)，發現結果中也沒有tbody標簽。在網頁中，tbody位于table中，用來提高解析速度。將路徑改為#infolist > table.tbimg > tr > td.t > a.t即可。
總結
- 瀏覽量是JS控制的，不能通過選取標簽的方式獲取
- 標簽的選取需要逐步嘗試
- 為了避開網站的反爬機制，需要添加headers，設置爬取的時間間隔
- 路徑的含義
例如：#infolist > table.tbimg > tbody > tr a.t路徑，table.tbimg指class=tbimg的table標簽，#infolist指id=infolist的標簽，> 代表直接子標簽，tr a.t之間的空格代表a是tr的間接子標簽。
