用BeautifulSoup和requests采集小豬短租的一個單頁面信息

Python使用版本3.52

廢話不說了,最近倍受打擊,很多前面的東西看不懂了,繼續努力吧,把之前的采集小豬短租的一個單頁面信息的代碼放上來,隨后陸續更吧:

#此代碼為抓取單一頁面上的顯示的其中一個鏈接的抓取元素

frombs4importBeautifulSoup

importrequests

url='http://sh.xiaozhu.com/fangzi/759632739.html'

html=requests.get(url)#發送請求網絡資源

soup=BeautifulSoup(html.text,'lxml')#解析請求回來的網絡資源

title=soup.select('div.pho_info > h4')[0].text#把需要爬取得信息用選擇器選擇出來

cate=soup.select('div.pho_info > p')[0].get('title')

price=soup.select('div.day_l > span')[0].text

pic1=soup.select('#curBigImage')[0].get('src')

pic2=soup.select('div.member_pic > a > img')[0].get('src')

gender=soup.select('div.member_pic > div')[0].get('class')[0]

name=soup.select('div.w_240 > h6 > a')[0].get('title')

score=soup.select('div.top_bar.clearfix > ul > li > em')[0].text

size=soup.select('#introduce > li.border_none > p')[0].text

defprint_gender(xb):#設定標簽判斷返回性別

ifxb=='member_ico1':

return'女'

else:

return'男'

data={#建立抓取元素顯示標準的字典

'1.標題:':title,

'2.地址:':cate,

'3.每晚價格:':price,

'4.房圖:':pic1,

'5.房主圖:':pic2,

'6.房主昵稱:':name,

'7.房主性別:':print_gender(gender),

'8.房子大小:':size,

'9.評分:':score,

}

forkeys,valuesindata.items():#打印單一頁面上的單一鏈接中的抓取元素

print(keys,values)


我知道自己的水平很低,但是我一直在堅持 我的信條是“立志行動堅持”,加油吧 每一個想努力實現夢想的小伙伴們?

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容