特別喜歡簡書這個網站,上面有很多優秀的作者,很多文章也寫的非常好。最近想來有空的時候就寫了 個簡書爬蟲,抓取某個專題下的所有文章,為了完整性就完成以下一些功能。
直接貼代碼鏈接: wenjunoy/jianshu-spider-python ,相關的使用介紹在代碼readme 也能看到。
簡要介紹
本代碼主要是提供一系列的API,用于爬取簡書上的內容。可以抓取簡書上用戶相關信息,寫的文章。還有抓取簡書上所有的專題和文集,獲取專題和文集的相關信息和所有文章。
不保證代碼一直有效(如果簡書網站結構和API發生變化)
依賴
BeautifulSoup
urllib2
requests
如何使用
獲取代碼:
git clone git@github.com:wenjunoy/jianshu-spider-python.git
獲取用戶個人信息
url形式: http://www.lxweimin.com/users/< ID >/latest_articles
獲取user的相關內容,包括基本信息(關注數,粉絲,文章數,字數,獲得的喜歡),所有的文章,關注的人,和被關注的人。
from jianshu.jianshu import User
user = User(user_id='81840abcd13b')
user.get_user_info() # 獲取基本信息
user.get_article_list() # 獲取文章列表
user.get_following() # 獲取關注的用戶
user.get_followers() # 獲取被關注的用戶
通過登入自己的賬戶還可以獲取喜歡的文章id(文章的url是 http://www.lxweimin.com/p/< id >),收藏的文章和關注的專題最新的文章。必需在jianshu/config.py 設置COOKIE。
user.get_favourites_articles()
user.get_bookmarks_articles()
user.get_subscription_notes()
通過通知頁面可以繪制你的 簡書文章-關注曲線
from jianshu.plot import draw_niti
draw_niti(user_id='81840abcd13b')
獲取所有的專題
根據主頁的主題廣場可以獲取所有的專題ID
from jianshu.jianshu import HomePage
home = HomePage()
home.get_collections_hot() # 獲取熱門專題
home.get_collections_recommend() #獲取推薦專題
home.get_collections_city() # 獲取城市專題
通過參數order_by* 和max_get的設置獲取你想要的專題順序和數目。
獲取專題內容
url形式: http://www.lxweimin.com/collection/< ID >
通過專題的ID可以獲取該專題的相關內容,包括專題的管理員,關注此專題的用戶以及文章列表。
from jianshu.jianshu import Collection
collection = Collection('40d81e34a7fb')
collection.get_authors()
collection.get_subscribers()
collection.get_article_list()
獲取文集內容
url 形式: http://www.lxweimin.com/notebooks/< ID >/latest
通過文集的ID可以獲取該文集的相關內容,包括基本信息,文集的作者,關注的人和文章列表。
from jianshu.jianshu import Notebooks
note = Notebooks('3864458')
note.get_author_id()
note.get_subscribers()
note.get_article_list()
獲取文章內容
url形式: http://www.lxweimin.com/p/< ID >
通過文章的ID和獲取文章的相關內容,基本信息(字數,閱讀量,評論數和打賞數),文章的內容(可以選擇刪除網頁標簽和換行符),還可以下載文章內的所有圖片。
from jianshu.jianshu import Article
art = Article('af14524650e2')
art.get_base_info() # 基本信息
art.get_article_text() # 文章的內容
art.get_all_imageUrl() # 獲取文章的圖片并保存
獲取2015年精選文章
url: http://www.lxweimin.com/zodiac/2015
zo = Zodiac()
zo.get_articles()
該代碼只是簡書爬蟲的一系列的API,爬蟲機制還需要自己去完成。目前只支持單線程。