
Handler處理器 和 自定義Opener opener是 urllib.request.OpenerDirector 的實例,我們之前一直都...
認證&權限 認證和權限是一起配合使用的。可以再配置文件中settings配置全局默認的認證&權限 也可以在每個視圖中通過設置authentica...
使用scrapy-redis:Scrapy_redis在scrapy的基礎上實現了更多,更強大的功能,具體體現在:reqeust去重,爬蟲持久化...
CrawlSpider它是Spider的派生類,Spider類的設計原則是只爬取start_url列表中的網頁,而CrawlSpider類定義了...
Selenium是一個Web的自動化測試工具,最初是為網站自動化測試而開發的,類型像我們玩游戲用的按鍵精靈,可以按指定的命令自動操作,不同是Se...
協程是什么? 協程是python個中另外一種實現多任務的方式,只不過比線程更小占用更小執行單元(理解為需要的資源)。 為啥說它是一個執行單元,因...
多進程 什么是進程 一個程序運行起來后,代碼+用到的資源 稱之為進程,它是操作系統分配資源的基本單元。不僅可以通過線程完成多任務,進程也是可以的...
多線程 多任務的概念 什么叫“多任務”呢?簡單地說,就是操作系統可以同時運行多個任務。 單核CPU如何執行多任務? 多核CPU如何執行多任務? ...
Xpath解析器: 什么是XPath? XPath (XML Path Language) 是一門在 XML 文檔中查找信息的語言,可用來在 X...