發(fā)簡信
IP屬地：浙江
作為一個python半吊子選手，在經(jīng)過一輪正經(jīng)的python面試之后，我終于對自己的定位有了清晰地認(rèn)知：我學(xué)的非常膚淺。python的高級語言特...
any() 函數(shù)any() 函數(shù)用于判斷給定的可迭代參數(shù) iterable[可以是元組或者列表] 是否全部為 False。如果全部是False則...
LevelDB是谷歌開源的一個鍵值數(shù)據(jù)庫，速度非常快，同時自動壓縮數(shù)據(jù)。 起因是直接寫入文本不方便第二次查找；寫入MySQL等關(guān)系型數(shù)據(jù)雖然利于...
1.URL的清洗 2.cchardet模塊該模塊是chardet的升級版，功能和chardet完全一樣，用來檢測一個字符串的編碼。由于是用C和C...
請說說從你在瀏覽器地址欄輸入網(wǎng)站到你看到網(wǎng)頁中間都發(fā)生了什么？ 瀏覽器發(fā)出請求 服務(wù)器做出響應(yīng) 瀏覽器接收響應(yīng) 網(wǎng)址是否有效判斷URL的合法性基...
基本URL包含協(xié)議(模式)+服務(wù)器名稱(IP地址)+（路徑+文件名） 關(guān)于協(xié)議它告訴瀏覽器如何處理將要打開的文件。最常用的模式是超文本傳輸協(xié)議（...
原因未知解決辦法就是不要一次插入大量數(shù)據(jù)產(chǎn)生環(huán)境：我在更新數(shù)據(jù)庫，從舊的數(shù)據(jù)庫更新到新的數(shù)據(jù)庫，第一次出現(xiàn)這個消息是在我插入一千多條數(shù)據(jù)的時候，...
背景是用scrapy來抓取一個網(wǎng)站的列表頁的時候有一個url是404，其它url是200，但是我在判斷狀態(tài)碼的時候發(fā)現(xiàn)了一些問題 這是基本邏輯d...
在做增量爬蟲的時候，會經(jīng)常遇到網(wǎng)址打不開的情況，為了方便統(tǒng)計(jì)監(jiān)控，我們用狀態(tài)碼來做簡單判斷，非200都是異常 更換域名 網(wǎng)頁結(jié)構(gòu)改變 請求方式換...