第一個爬蟲嘗試，爬取小豬短租上海地區(qū)10頁所有的房屋信息
首先爬取一個房間的基本信息，包括標(biāo)題、地址、價格、圖片、房東基本信息，代碼如下：
url = 'http://sh.xiaozhu.com/fangzi/1863532734.html'
wb_data = requests.get(url)
# 開始解析網(wǎng)頁數(shù)據(jù)
soup = BeautifulSoup(wb_data.text, 'lxml')
# 獲取標(biāo)題
titles = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em')
# 獲取地址
address = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > p > span.pr5')
# 獲取日租金
dayPrices = soup.select('div.day_l > span')
# 獲取圖片
imgs = soup.select('#curBigImage')
# 獲取房東頭像
fdImgs = soup.select('div.js_box.clearfix > div.member_pic > a > img')
# 獲取房東性別
sexs = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div')
# 獲取房東姓名
names = soup.select('div.js_box.clearfix > div.w_240 > h6 > a')
for title, addres, dayPrice, img, fdImag, sex, name in zip(titles, address, dayPrices, imgs, fdImgs, sexs, names):
data = {
'title': title.get_text(),
'addres': addres.get_text(),
'dayPrice': dayPrice.get_text(),
'img': img.get('src'),
'fdImg': fdImag.get('src'),
'sex': get_lorder_sex(sex.get("class")),
'name': name.get_text()
}
print(data)
然后獲取每個頁面中所有的房屋鏈接，代碼：
wb_data = requests.get(url)
# 解析網(wǎng)頁
soup = BeautifulSoup(wb_data.text, 'lxml')
links = soup.select('#page_list > ul > li > a')
for link in links:
href = link.get('href')
然后生成10個列表頁面地址：
urls = ['http://sh.xiaozhu.com/zuipianyi-duanzufang-p{}-10/'.format(number) for number in range(1, 10)]
最后將各個模塊寫成函數(shù)，通過函數(shù)調(diào)用實(shí)現(xiàn)抓取10個頁面的所有房屋信息
完整源代碼：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2016/8/1 13:21
# @Author : flyme
# @Site :
# @File : xiaozhu.py
# @Software: PyCharm Community Edition
from bs4 import BeautifulSoup
import requests
# 性別不同，標(biāo)簽的class屬性內(nèi)容不同，通過這個差異區(qū)分房東性別
def get_lorder_sex(class_name):
if class_name == ['member_ico']:
return '男'
elif class_name == ['member_ico1']:
return '女'
# 獲取頁面中所有房屋鏈接
def get_links(url):
wb_data = requests.get(url)
# 解析網(wǎng)頁
soup = BeautifulSoup(wb_data.text, 'lxml')
links = soup.select('#page_list > ul > li > a')
for link in links:
href = link.get('href')
get_detail_info(href)
# 獲取單個房屋詳細(xì)信息
def get_detail_info(url):
# url = 'http://sh.xiaozhu.com/fangzi/1863532734.html'
wb_data = requests.get(url)
# 開始解析網(wǎng)頁數(shù)據(jù)
soup = BeautifulSoup(wb_data.text, 'lxml')
# 獲取標(biāo)題
titles = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em')
# 獲取地址
address = soup.select('body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > p > span.pr5')
# 獲取日租金
dayPrices = soup.select('div.day_l > span')
# 獲取圖片
imgs = soup.select('#curBigImage')
# 獲取房東頭像
fdImgs = soup.select('div.js_box.clearfix > div.member_pic > a > img')
# 獲取房東性別
sexs = soup.select('#floatRightBox > div.js_box.clearfix > div.member_pic > div')
# 獲取房東姓名
names = soup.select('div.js_box.clearfix > div.w_240 > h6 > a')
for title, addres, dayPrice, img, fdImag, sex, name in zip(titles, address, dayPrices, imgs, fdImgs, sexs, names):
data = {
'title': title.get_text(),
'addres': addres.get_text(),
'dayPrice': dayPrice.get_text(),
'img': img.get('src'),
'fdImg': fdImag.get('src'),
'sex': get_lorder_sex(sex.get("class")),
'name': name.get_text()
}
print(data)
# 生成10個列表頁面地址
urls = ['http://sh.xiaozhu.com/zuipianyi-duanzufang-p{}-10/'.format(number) for number in range(1, 10)]
# 從鏈接列表中，用for一個個取出來
for single_url in urls:
# 把得到的列表頁面鏈接，傳給函數(shù)，這個函數(shù)可以得到詳情頁鏈接
get_links(single_url)
爬取結(jié)果如下圖：
Paste_Image.png
總結(jié):
1、在爬取房東性別時，因?yàn)樾畔?shí)在房東頭像右下角，且只是一個圖標(biāo)，所有需要通過判斷來確定房東的性別
2、獲取所有標(biāo)簽時要主要觀察網(wǎng)頁中標(biāo)簽位置
