發簡信
IP屬地：上海
-
對Python函數傳參的一些思考
今天看到這樣一個問題: Python 的函數是怎么傳遞參數的，有了一些興趣，因為以前都是直接信的一個流傳度較廣的說法 對于不可變對象作為函數參數...
-
grafana使用中遇到的一些坑prometheus+grafana的系統監控方式用起來很不錯，最近開始使用它來監控haipproxy和weibospider。由于網上相關的中...
-
如何將自己的Python包發布到PyPI
以前寫過一篇類似的文章: 如何打包自己的項目并且發布到pypi上，不過由于PyPI進行了一些更新，因此舊方法不大適用了。趁端午有時間，想把hai...
-
談談__eq__和__hash__
今天刷一道算法題的時候用到了list_a == list_b的判斷，==和is大家都已經是耳熟能詳了，前者是判斷值是否相等，后者是判斷引用是否相...
-
Sentry初體驗最近由于工作需要，接觸了兩類監控類產品，一類是對于系統資源，系統狀態、應用狀態等信息的監控，主要是使用prometheus+grafana，這個...
-
haipproxy高可用核心策略
昨日使用haipproxy作為代理源，對知乎進行了數據抓取相關的性能測試，測試效果還不錯，有興趣的可以點擊項目主頁查看測試結果。但是它仍有繼續優...
-
haipproxy校驗器編寫流程使用過代理IP的同學應該都知道，即使是同一個IP，訪問不同網站，可用性和速度都可能大不相同。因此，根據實際使用情況編寫特定站點的代理校驗器是非常...
-
Redis性能優化tips
讀完了Redis實戰，感覺收獲還是蠻多的。像往常那樣，讀完就想將書束之高閣。這幾天總感覺差點什么，于是又翻了一下這本書，打算記錄書上和自己知道的...
-
高可用分布式代理IP池:架構篇歷時大致兩個月，到現在終于完成了高可用分布式代理IP池，目前開源在了Github上。寫這個項目的原因主要有兩點，一是自己平時的部分工作需要和爬蟲...
個人介紹
我的開源項目：
分布式微博爬蟲
https://github.com/SpiderClub/weibospider
高可用分布式代理池
https://github.com/SpiderClub/haipproxy
分布式微博爬蟲
https://github.com/SpiderClub/weibospider
高可用分布式代理池
https://github.com/SpiderClub/haipproxy