#第一個爬蟲
---
今天寫了第一個爬蟲，幾點困難：
1. 開發環境設置: py3.5 vs py2.7，anaconda好像默認安裝在2.7下面，導致最新版lxml庫無法在py3.5里導入。**解決方案**使用anaconda單獨建立py3.5環境，使用 $source activate py3.5 來激活。
2. html構成的理解: 今天爬了小豬，無需cookie信息即可瀏覽，所以header里無需加入cookie信息。但是對于html selector / xpath的應用還需挺多練習。目前仍然不太懂得如何抓取圖片。
3. python本身的熟悉度，逐頁抓取后如何保存在同一個列表里/如何存儲圖片到本地，這個都需對py本身有更多練習。
4. 寫了第一個爬蟲還是很開心的，希望繼續努力。
---
**代碼**：
~~~Python
#_*_ encoding: utf-8 _*_
from bs4 import BeautifulSoup
import requests
first_url = 'http://bj.xiaozhu.com/xicheng-305-9999yuan-duanzufang-9/?startDate=2016-07-01&endDate=2016-07-04'
urls = ['http://bj.xiaozhu.com/xicheng-duanzufang-p{}-8/?startDate=2016-07-01&endDate=2016-07-04'.format(str(i)) for i in range(1,9)]
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
}
data = []
def get_housing(url):
wb_data = requests.get(url)
soup = BeautifulSoup(wb_data.text, 'lxml')
info = []
descs = soup.select('div.result_btm_con.lodgeunitname > div > a > span')
prices = soup.select('div.result_btm_con.lodgeunitname > span.result_price > i')
addresses = soup.select('div.result_btm_con.lodgeunitname > div > em')
for desc, price, address in zip(descs, prices, addresses):
data = {
'desc': desc.get_text(),
'price': price.get_text(),
'address': list(address.stripped_strings)
}
info.append(data)
for item in info:
item['address'][0] = item['address'][0][:2]
if len(item['address']) < 3: continue
item['address'][2] = item['address'][2].strip('-').strip()
return info
for url in urls:
data += get_housing(url)
total = 0
for item in data:
print(item)
total+=int(item['price'])
average = total / len(data)
print ('總房數:', len(data))
print ('平均房價:', average)
~~~
