爬完魔方之后，再接再厲爬取自如和鏈家，然后...不出意外的又失敗了！在向右老師和羽恒大神的拯救下，終于把我從坑里挖了出來(lái)。雖然錯(cuò)的也還有點(diǎn)稀里糊涂的，但前事不忘，后事之師。下面把遇到的坑簡(jiǎn)單說(shuō)一下。
<h4>xpath找自如</h4>
首先找到自如友家杭州站的地址，http://hz.ziroom.com/z/nl/z2.html
我覺(jué)得我也就是這個(gè)第一級(jí)的網(wǎng)址能找對(duì)了...
然后觀察網(wǎng)址，找需要的標(biāo)題，地址和價(jià)格
下面是我寫的程序
...
infos=selector.xpath('div//li[@class="clearfix"]/div/')
list_dict=[]
for info in infos:
item={}
name=info.xpath('div/h3/a/text()')[0]
address=info.xpath('div/h4/a/text()')[0]
price=info.xpath('p/[@class="price"]/text()')[0]
當(dāng)時(shí)我的邏輯是，在chrome用小箭頭找到每個(gè)房源的地址，得到class=clearfix這一級(jí)，然后向下。然后標(biāo)題在txt下的“h3”處，地址在“h4”處，價(jià)格在另一個(gè)標(biāo)簽price處。然后就試著寫下來(lái)，結(jié)果是運(yùn)行不出來(lái)....
大神的診斷：一個(gè)是需要請(qǐng)求頭偽裝，另外就是地址還要取高一級(jí)，點(diǎn)選到所有的房源。
還有定位還不夠準(zhǔn)確，div要定到第二個(gè)，所以是div[2]。價(jià)格這里，因?yàn)槎?jí)結(jié)構(gòu)Infos已經(jīng)定位到價(jià)格，所以不要再寫class=price這些了，直接用p[1]定位。
#coding:utf-8
import requests
from lxml import etree
import random
url='http://sz.ziroom.com/z/nl/z2.html'
def getReqHeaders():
"""
功能：隨機(jī)獲取HTTP_User_Agent
"""
user_agents=[
"Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"]
user_agent = random.choice(user_agents)
req_headers={
'User-Agent':user_agent
}
return req_headers
html=requests.get(url,headers=getReqHeaders()).content
#print(html)
selector=etree.HTML(html)
infos=selector.xpath('//*[@id="houseList"]/li')
#print infos
list_dict=[]
for info in infos:
item={}
name=info.xpath('div[2]/h3/a/text()')[0]
address=info.xpath('div[2]/h4/a/text()')[0]
price=info.xpath('div[3]/p[1]/text()')[0]
print name, ' ',address, ' ',price
#item['name']=name
#item['address']=address
#item['price']=price
#list_dict.append(item)
#print list_dict
在地址向上一欄這里我糾結(jié)了很久，因?yàn)榕滥Х降臅r(shí)候，程工教路，取值就是從clearfix這里取的，用小箭頭點(diǎn)選單個(gè)公寓列表得到。而自如這里改為id這一級(jí)，從所有公寓列表選取。似乎邏輯不同呢，我要再好好想想...
html=requests.get(url).content
selector=etree.HTML(html)
infos=selector.xpath('//div[@class="orgs-room clearfix"]/div[2]')
for info in infos:
shop_name=info.xpath('p[@class="room-hd"]/a/text()')[0]
address=info.xpath('p[@class="address"]/text()')[0]
room_money=info.xpath('p[@class="room-money"]/strong/text()')[0].lstrip('均價(jià)：￥').rstrip('/月')
print shop_name,address,room_money
<h4>BeautifulSoup爬鏈家</h4>
試著用bs4爬鏈家，并且加上頁(yè)數(shù)的循環(huán)。
其實(shí)鏈家的結(jié)構(gòu)是公認(rèn)很清晰的，用采集器爬的時(shí)候，什么跳轉(zhuǎn)都不用。但是自己一寫代碼，就馬上暴露學(xué)習(xí)的不足了...
自己寫的代碼，有兩個(gè)問(wèn)題，一個(gè)是爬出來(lái)的都是單一房源，另一個(gè)是列表，無(wú)法用text找到。 比如寫成"address=lj.find_all('div',attrs={'class':'address'}).text"就會(huì)報(bào)錯(cuò)。
（前略）
url='http://gz.lianjia.com/ershoufang/'
for i in range(1,2):
i=str(i)
a=(url+'pg'+i+'/')
html=requests.get(url=a).text
lista=[]
lj=BeautifulSoup(html, "lxml")
infos=lj.find_all('div',attrs={'class':'info clear'})
for info in infos:
item={}
title=lj.find_all('div',attrs={'class':'title'})
print type(title)
address=lj.find_all('div',attrs={'class':'address'})
price=lj.find_all('div',attrs={'class':'totalPrice'})
（以下略）
下面是向右老師改的代碼：
import requests
from bs4 import BeautifulSoup
url='http://bj.lianjia.com/ershoufang/'
for i in range(1,3):
i=str(i)
a=(url+'pg'+i+'/')
print a
html=requests.get(url=a).content
lj=BeautifulSoup(html, "html.parser")
for info in lj.find_all('div', attrs={'class': 'info clear'}):
title = info.select('div.title > a')[0].get_text()
print title
price = info.select('div.priceInfo > div > span')[0].text
print price
loc = info.select('div.flood > div')[0].text
print loc
原因是，一個(gè)是沒(méi)有把爬頁(yè)數(shù)和下面的每頁(yè)信息形成嵌套關(guān)系，所以爬出來(lái)的結(jié)果都是一樣的；第二個(gè)還是網(wǎng)頁(yè)結(jié)構(gòu)沒(méi)把握好，"class:info clear"這個(gè)二級(jí)結(jié)構(gòu)倒是找到了，但是向右老師建議下面應(yīng)該用select，find找到的是一類標(biāo)簽，用來(lái)定位比較復(fù)雜。select的好處，就是可以一層一層的找到標(biāo)簽。
比如總價(jià)'div.priceInfo > div > span'這里，也可以寫成'div.priceinfo > div.totalPrice > span'，span沒(méi)有屬性。
這樣就比attr要清楚很多。
這個(gè)周末總算把兩個(gè)網(wǎng)站結(jié)構(gòu)又弄清楚了（雖然80%都是別人的功勞！）。另外看了天善智能邱祐瑋的爬蟲(chóng)視頻。看視頻的時(shí)候覺(jué)得好簡(jiǎn)單啊，自己做的時(shí)候怎么就那么復(fù)雜！
第二級(jí)結(jié)構(gòu)該取哪一級(jí)，還要好好弄明白。
第三級(jí)結(jié)構(gòu)的定位，每次的排列組合，搞得我都沒(méi)信心了，還是人品+技術(shù)問(wèn)題，要練習(xí)再練習(xí)！
