Python 爬簡書首頁插入Mongo數據庫

之前的文章是爬蟲糗事百科并插入到MySQL數據庫,使用的是BeautifulSoup解析靜態網頁,select(返回列表)、find_all(返回列表)和find(返回單個結果)以及正則定位獲取網頁數據,pymysql鏈接插入本地MySQL數據庫。為了擴展自己的爬蟲技能,今天的代碼是爬蟲異步加載的簡書首頁文章,使用的是lxml解析網頁,XPath定位獲取網頁數據,以及pymongo鏈接插入本地Mongo數據庫(之前不懂MongoDB,看到很多人都使用Mongo數據庫存儲爬蟲數據,特別學習了一下,感覺這個非關系型數據庫還是很好用的)。爬取的首頁文章數據包括:標題,作者,發表時間,閱讀量,評論數,點贊數,打賞數,所投專題,代碼的完成參考了loading_miracle的文章,他的文章思路清晰,圖文并茂,很適合學習!下面是程序代碼,每一句都加了注釋說明,方便整理思路,代碼的寫法存在許多不規范的地方,還請大家留言指教,謝謝。

import requests
from lxml import etree
#import re
import pymongo
#構建爬取簡書首頁的類
class JianshuSpider(object):
    #鏈接Mongo數據庫
    client = pymongo.MongoClient('localhost', 27017)
    #創建數據庫 mydb (應該叫連接數據庫,比較創建數據庫更合適)
    mydb = client['mydb']
    #創建數據表 jianshu
    jianshu = mydb['jianshu']
    #請求頭
    headers = {
      'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
    #創建一個數組,用以存儲文章的id,作為異步加載的請求參數
    params = []
    #Class的構造函數(我習慣這么稱呼它)
    def __init__(self):
        pass
    #獲取異步加載的url的函數(15頁),并請求數據
    def totalpage(self):
        for i in range(0,15):
            data = '&'.join(self.params)
            url = 'http://www.lxweimin.com/?' + data + '&page={}'.format(i)
            self.get_data(url)
    #爬取數據,并插入Mongo數據庫的函數
    def get_data(self,url):
        #模擬瀏覽器訪問網頁
        html = requests.get(url,self.headers).text
        #etree.HTML解析網頁內容返回給respone
        response = etree.HTML(html)
        #獲取請求文章的ID并存入數組并作為請求攜帶參數
        ids = response.xpath('//*[@id="list-container"]/ul/li')
        for one in ids:
            one = 'seen_snote_ids[]=' + one.xpath('@data-note-id')[0]
            self.params.append(one)
        #xpath得到所有包含目標內容的div的集合
        div_list = response.xpath('//*[@id="list-container"]/ul/li/div')
        #for循環分別讀取d集合中的目標數據
        for div in div_list:
            #定位獲取文章標題數據-->text()
            title = div.xpath('a/text()')[0]
            #定位獲取作者名字數據-->text()
            author = div.xpath('div[1]/div/a/text()')[0]
            #定位獲取發表時間數據-->非文本text()而是屬性@
            release_time = div.xpath('div[1]/div/span/@data-shared-at')[0]
            #定位獲取文章閱讀量(用XPath無法定位獲取數據)
            #reading_num = div.xpath('div[2]/a[2]/text()')[0]
            #定位獲取文章評論數(用XPath無法定位獲取數據)
            #comment_num = div.xpath('div[2]/a[3]/text()')
            #定位獲取點贊數量
            like_num = div.xpath('div[2]/span/text()')[0]
            #打賞數和所投專題可能為None,顧需特別處理
            #判斷所投專題
            flg1 = div.xpath('div[2]/a[1]/text()')[0]
            topic = div.xpath('div[2]/a[1]/text()')[0] if flg1!=None else ""
            #判斷打賞數
            flg2 = div.xpath('div[2]/span[2]/text()')
            play_num = div.xpath('div[2]/span[2]/text()')[0] if len(flg2)>0 else 0
            #爬取數據后,構建數據字典
            data = {
                '標題':title,
                '作者':author,
                '發布時間':release_time,
                #'閱讀數':reading_num,
                #'評論數':comment_num,
                '點贊數':like_num,
                '所投專題':topic,
                '打賞數':play_num
            }
            #向數據庫插入數據
            self.jianshu.insert_one(data)
if __name__ == '__main__':
    #初始化簡書爬蟲這個類
    jssy_spider = JianshuSpider()
    #調用簡書爬蟲類的totalpage()函數
    jssy_spider.totalpage()

插入MongDB效果:

簡書mongo.png

除文章的閱讀數和評論數沒有爬到,其他都插入到Mongo數據庫中了,很奇怪不知道為什么用XPath無法定位獲取這兩類數據,嘗試參照loading_miracle的文章改用正則表達式獲取,但是發現自己使用正則獲取數據后,分頁異步加載的數據不正確。第一次使用XPath,很多定位技巧都不掌握,還請大神幫忙解決用XPath定位這兩類數據。

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容