爬蟲(chóng)類
-
crawlers
是一個(gè)主要抓取ROSI寫(xiě)真的Scrapy爬蟲(chóng)，主要的spider代碼簡(jiǎn)單易理解。 -
163spider
爬取網(wǎng)易客戶端內(nèi)容的小爬蟲(chóng)，主要采用Scrapy框架并配合上Mysql進(jìn)行數(shù)據(jù)的存儲(chǔ)，對(duì)于新人入門(mén)比較友好。
工具類
-
retrying
主要是一個(gè)經(jīng)典的裝飾器，來(lái)簡(jiǎn)單地進(jìn)行retry請(qǐng)求，同時(shí)接受大量的參數(shù)，能夠滿足很多的需求場(chǎng)景。 -
LearnPython
超級(jí)不錯(cuò)的入門(mén)Python，以寫(xiě)代碼實(shí)踐的方式學(xué)習(xí)，相信看完這些例子，Python的大部分東西都理解了。 -
huey
一個(gè)簡(jiǎn)單的任務(wù)隊(duì)列，主要以Redis作為queue，滿足基本的需求場(chǎng)景。支持多進(jìn)程，多線程和協(xié)程，以及定時(shí)任務(wù)和自動(dòng)重試失敗任務(wù)。 -
rq
比上述的任務(wù)隊(duì)列還要簡(jiǎn)單，具有很低的入門(mén)門(mén)檻，同樣以Redis為queue。
其他類
-
stockholm
一個(gè)股票數(shù)據(jù)（滬深）爬蟲(chóng)和選股策略測(cè)試框架，數(shù)據(jù)基于雅虎YQL和新浪財(cái)經(jīng)。對(duì)于某些做量化投資的人士應(yīng)該有幫助。 -
maga
一個(gè)使用asycio的DHT爬蟲(chóng)，DHT是一種分布式存儲(chǔ)方法。
不好意思呀，還是有點(diǎn)懈怠呢，主要在寫(xiě)一個(gè)爬蟲(chóng)框架，所以沒(méi)有很大的精力去寫(xiě)其他的技術(shù)內(nèi)容，希望大家好好地學(xué)習(xí)上面的內(nèi)容呢，都是很好的資源。
