結(jié)果
Result.png
我的代碼
#!/usr/bin/env python
#-*- coding: utf-8 -*-
__author__ = 'CP6'
import requests
import time
from bs4 import BeautifulSoup
urls = ['http://bj.58.com/pbdn/pn{}'.format(str(i)) for i in range(1, 10)]
headers = {
'UserAgent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.21 Safari/537.36'
}
def get_info(url):
wb_data = requests.get(url, headers=headers, timeout=6)
soup = BeautifulSoup(wb_data.text, 'lxml')
time.sleep(3)
# print(soup.title.text)
titles = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > h1')
lookTimes = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.box_left_top > p > span.look_time')
prices = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.price_li > span > i')
cates = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.biaoqian_li')
areas = soup.select('body > div.content > div > div.box_left > div.info_lubotu.clearfix > div.info_massege.left > div.palce_li > span > i')
for title,lookTime,price,cate,area in zip(titles,lookTimes,prices,cates,areas):
data = {
'title':title.get_text(),
'lookTime':lookTime.get_text(),
'price':price.get_text(),
'cate':cate.text.replace('\n','').replace(' ',''),
'area':area.get_text()
}
print(data)
# with open('info.txt','wb') as fs:
# fs.write(wb_data.content)
def main():
for single_url in urls:
single_url = 'http://bj.58.com/pbdn/pn1'
wb_data = requests.get(single_url, headers=headers, timeout=6)
soup = BeautifulSoup(wb_data.text, 'lxml')
links = soup.select('tr.zzinfo > td.img > a')
for link in links:
get_info(link.get('href'))
# 只有直接執(zhí)行腳本才會運(yùn)行下面的函數(shù)，如果其他文件引用這個文件，下面的函數(shù)不會執(zhí)行
if __name__ == '__main__':
main()
總結(jié)
-
**1.注釋 **
#!/usr/bin/env python
#-*- coding: utf-8 -*-
**第一行注釋是為了告訴Linux/OS X系統(tǒng)，這是一個Python可執(zhí)行程序，Windows系統(tǒng)會忽略這個注釋；
第二行注釋是為了告訴Python解釋器，按照UTF-8編碼讀取源代碼，否則，你在源代碼中寫的中文輸出可能會有亂碼。**
-
2. 由于網(wǎng)站的更新，所以我的本地的py腳本跟老師講得可能還是有所區(qū)別。而且發(fā)現(xiàn)自己的代碼還是有點(diǎn)很亂，還得鍛煉。**
其中
1.selector 及時可以足夠簡化，太冗長也影響代碼的可讀性，只要在網(wǎng)頁中檢查其標(biāo)簽唯一性即可。
prices = soup.select('.price')
areas = soup.select('.c_25d')
dates = soup.select('.time')
瀏覽次數(shù)
2.title屬性可以直接獲取，其實(shí)也就是網(wǎng)頁head里的標(biāo)簽，當(dāng)然這個的使用，其實(shí)還是有一定概率性，可能個別頁面的title跟你想要的會不一樣，需要仔細(xì)區(qū)分。
'title': soup.title.text,
3.不得不再次愛上py的語法，簡單，一行搞定，不過可讀性嘛，習(xí)慣就好了
.'price': prices[0].text if len(prices) > 0 else 0,
其實(shí)也就等價于:
if len(prices) > 0 :
return prices[0].text
else :
return 0
再看這個：
url_last_part = url_path.split('/')[-1]
[-1]這里的-1指的是，數(shù)組的倒數(shù)第一個，所以[-2]，也就是倒數(shù)第2個，以此類推
這里其實(shí)也強(qiáng)調(diào)了對代碼邏輯中邊界問題的把控能力，你的代碼不僅僅要適用于正常情況，還是適用于極端情況。再看下面的邏輯保護(hù)：
# 判斷狀態(tài)碼，檢查是否被網(wǎng)站封ip
if wb_data.status_code != 200:
continue
4.原來課程中比較難的一點(diǎn)就是，頁面中瀏覽量的爬取（現(xiàn)在這個問題沒有了，直接最簡單的爬取即可），是通過頁面中的js腳本來控制回寫到頁面（深刻感知js的爬取的天敵啊~），但是通過對source中的接口api進(jìn)行查詢（接口可以參照一下新浪微博接口的介紹，但現(xiàn)在已經(jīng)找不到了）回調(diào)處理邏輯的分析，還是可以強(qiáng)行獲取。
原本根據(jù)infoid是可以查詢到訪問量，也就是下圖totla后面的數(shù)字，現(xiàn)在已經(jīng)不需要了
api查詢
其實(shí)總結(jié)起來，也就是對于網(wǎng)頁鏈接中的網(wǎng)址變化特征要敏感，根據(jù)其不同的變化來猜測并驗(yàn)證猜測。
who_sells = 0 // 0為個人，1為商家
url = 'http://bj.58.com/pbdn/{}/pn2/'.format(who_sells)
// 訪問量的查詢也就是調(diào)用api后面，接上要查詢的id即可。
