Step0 - 概述
功能描述
看到Twitter上有好多定時更新笑話集錦的帳號,覺得自己也可以試試,就申請了 @xiaolintemple 這個號,利用爬蟲定時更新笑話
目前主要笑話來源于 百思不得姐 以及 糗事百科,后期還可以繼續擴展
先上效果圖
效果圖
用到的模塊和知識點
軟件
- Mongodb : Nosql數據庫
python第三方庫
requests : 一個封裝了HTTP服務的python庫
pyquery : 類似Jquery,使用非常方便
schedule : job scheduling Python庫
pymongo : Mongodb的python庫
twython : 封裝的twitter庫
適配器
這里會用到適配器,通配各種網站的爬蟲代碼,方便擴展更多網站
目的
主要目的有兩個:
個人總結。以前碼完代碼之后,也不會總結,也許過段時間再回過頭來再看代碼,總會覺得遺漏掉了一些什么,當初怎么想,為什么這么寫之類的,也想利用這個機會好好總結一下。
這次寫的比較細,如果能給剛開始寫爬蟲的朋友一些借鑒的話,那也算是快事一件。也歡迎大家pull request,一起交流
項目地址
Github地址: https://github.com/bonfy/xiaolinBot
歡迎大家一起交流