第三節：爬取小豬短租租房信息
要求：
1. 爬取詳情頁面內的：
標題，地址，租金，第一張房源圖片鏈接，房東圖片鏈接，房東姓名，房東性別。
2.爬取每頁的所有租房詳情信息：
總13頁，共300條租房信息。
3.保存爬取的租房信息到文本文件中，如下

image.png

代碼如下：

def get_html(url):
    """獲得html源碼"""
    headers = {
        'User-Agent':('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'
                      'Chrome/54.0.2840.87 Safari/537.36')
    }
    response = requests.get(url,headers=headers)
    response.encoding = 'utf-8'  # 設置網頁編碼，responses會自動編碼解碼對網頁，一般不需要設置編碼，如出現亂碼，則需要手動設置編碼
    return response.text # text返回響應的頁面的源碼，unicode編碼格式，content 返回的是二進制響應內容的字符串

def is_sex(sex):
    """性別轉換
        性別女的 標簽class屬性 = member_girl_ico
        性別男的 標簽class屬性 = member_boy_ico
        class為空，則用戶沒有設置性別
        返回用戶性別字符串 男or女or未知性別
    """
    lorder_sex = u'未知性別'
    if sex:                 # 有些房東沒有設置性別,所以需要先判斷一下
        if 'girl' in sex:
            lorder_sex = u'女'  # response.text返回的是unicode編碼的字符串，所以編碼要統一都設為unicode，避免亂碼
        elif 'boy' in sex:
            lorder_sex = u'男'
    return lorder_sex

def details_info(url):
    """獲得租房頁面詳情信息，標題，地址，價格，房租第一張圖片，房東照片，房東姓名，房東性別
        返回儲存詳情信息的字典"""
    html = get_html(url)
    soup = BeautifulSoup(html, 'lxml')
    #get('class')返回的是一個列表包含當前標簽class屬性的所有值，而不是字符串
    lorder_sex_span = soup.select('div.w_240 > h6 > span')[0].get('class')[0]
    address = soup.select('div.pho_info > p > span.pr5') #有些可能每沒有地址
    lorder_sex = is_sex(lorder_sex_span)

    info = {
        'title':soup.select('div.pho_info > h4 > em')[0].get_text(),
        'address':address[0].get_text().strip() if address else '',
        'pice':soup.select('div#pricePart div.day_l > span')[0].get_text(),
        'home_img':soup.select('img#curBigImage')[0].get('src'),
        'lorder_img':soup.select('div.member_pic > a > img')[0].get('src'),  # 房東圖片
        'lorder_name':soup.select('div.w_240 > h6 > a.lorder_name')[0].get_text(),
        'lorder_sex':lorder_sex
    }
    #跟蹤輸出每一頁的url到控制臺
    print '正在爬取詳情頁為 ---- {}'.format(url)
    return info

def home_sorce(url):
    """獲得當前頁面的所有房源鏈接
       返回一個list"""
    html = get_html(url)
    soup = BeautifulSoup(html, 'lxml')
    page_list = soup.select('div#page_list > ul > li > a')
    #使用字典 url做key 去除重復href，字典是無序的，但url的順序并不重要，所有用字典是比較合適的
    page_url_dict = {page.get('href'):'' for page in page_list}
    return page_url_dict

def save_to_text(datas):
    """將信息保存到當前文件夾內的文本文件中"""
    with open('details.text','w') as f:
        for data_dict in datas:
            for key,value in data_dict.iteritems():
                info = '{} -- {} \n'.format(key,value.encode('utf-8')) #以utf-8編碼寫入文本文件中
                f.write(info)
            f.write('\n')
            f.write('------'*5)
            f.write('\n\n')

def main():
    """主函數，啟動爬蟲"""
    #拼接每一頁的url
    url_pattern = 'http://bj.xiaozhu.com/search-duanzufang-p{}-0/'
    urls = [url_pattern.format(index) for index in range(1,14)]

    page_url_dict = {}      #使用字典 url做key 去除重復url，
    for url in urls:        #獲得每頁中的房屋信息url
        page_url_dict.update(home_sorce(url))
    print '總共 {} 條房源url'.format(len(page_url_dict))

    #獲得每個房屋的詳情信息
    details_list = [details_info(page_url) for page_url in page_url_dict.keys()]
    print '總共 {} 條房源信息'.format(len(details_list))

    save_to_text(details_list)    #保存房源信息到文本文件


if __name__ == '__main__':
    print '啟動爬蟲'
    main()