目的：把精彩豆列頻道里的每個豆列里的內容抓取出來。流程是抓取目錄頁精彩豆列頻道豆列的地址-對每個豆列所有頁數都抓取具體內容、網址、時間。這就很標準crawlspider干的活...
發簡信
IP屬地：四川
-
-
-
-
爬今日頭條，各種失敗經驗，之后成功了最近研究了一下js加密，發現今日頭條比較適合練手，在頭條獲取數據的XHR中request參數有一項_signature參數，這個是就是經過js加密的數據。解決方案在最后。 復...
-
scrapy 關于session
在requests用session登陸這篇講了怎么用同一個session控制cookies以達到登陸的需求，在scrapy里主要用的是FormRequest和cookieja...
-
scrapy用proxy的零零總總
在scrapy框架及中間件中說到了中間件相關的數據流程，剛好在用proxy爬數據的時候會用到中間件的零零總總，這回可以一起說說了。我覺得寫中間件要先找到內置的相關中間件，根據...
-
-
python -裝飾器
裝飾器之前要先說說函數名（）和函數名的區別 test()是返回函數值，所以是可以賦值給變量的。比如a=test()。test是調用函數，在scrapy里有很多的callbac...
-
scrapy_redis分布式爬蟲
說到redis了，自然就要說到另一個爬蟲框架scrapy_redis，分布式爬蟲，scrapy與scrapy_redis最大的不同是scheduler，也正是因為這個sche...
-
scrapy框架及中間件scrapy框架官方圖如下 基本流程是1.spider發出初始request需求，默認是對start_urls發起get方法的request，如果帶參數或者post就重寫st...
-
scrapy+redis增量爬蟲
scrapy適合一次性爬取全站，如果我想多次爬取，主目錄頁面難免會出現重復，去重增量爬取就很有必要了。我在網上搜到了這樣的文章scrapy+redis增量爬取,邏輯是前一次存...
-
-
用python寫爬蟲-re模塊re模塊中最常用到三個函數的是match，search，findall。不過他們都能匹配字符串，不過又稍有不同。 基本格式 re.findall/match/search("...
-
sklearn-loss function我認為各個模型核心就是loss function，loss function不同就是不同的模型，具有相同的loss function大體也就相同，可能只是一個是分類，一個是回...
-
sklearn-4.11邏輯回歸，SVM，SGDClassifier的應用
模型選擇： 前面說了邏輯回歸和SVM的區別和聯系，主要是線性是否可分，但是實際二分類中特征向量維數起碼數十，成百上千的，雖說降維之后看看特征是否能夠線性可分，但再加上數據本身...
-
sklearn-4.1邏輯回歸，SVMsklearn前面有過一個樹狀圖，大概說了什么情況用什么模型合適。 監督學習分類模型，主要有邏輯回歸LogisticRegression，支持向量機svm，神經網絡，近鄰KN...
-
requests和pandas聯合爬代理ip，驗證ip最近需要找個代理上網，但是網上免費的ip實在是不太好用，隨機找到好用ip的概率實在有點小，就只能把它們都下下來挨個試。我爬的是西刺代理-高匿，翻看兩頁，想看看數據來源，完了是...
-
sklearn-5.評價選擇model
sklearn.model_selection就是選擇模型的額，主要方法是cross_val_score，主要是把原始數據拿出一部分來做驗證，看訓練的怎么樣，就像考試一樣，考...
-
sklearn-3.預處理數據導入數據之后要做的是預處理，sklearn.preprocessing，主要分為幾個方面。1.缺失值的處理缺失值我覺得用pandas來處理更方便，pandas.fillna，...
