發(fā)簡信
IP屬地：河南
-
urllib、xpath、bs4的語法和使用
Handler處理器 和 自定義Opener opener是 urllib.request.OpenerDirector 的實(shí)例，我們之前一直都...
-
DRF組件總結(jié)
認(rèn)證&權(quán)限 認(rèn)證和權(quán)限是一起配合使用的。可以再配置文件中settings配置全局默認(rèn)的認(rèn)證&權(quán)限 也可以在每個視圖中通過設(shè)置authentica...
-
分布式爬蟲總結(jié)和使用使用scrapy-redis：Scrapy_redis在scrapy的基礎(chǔ)上實(shí)現(xiàn)了更多，更強(qiáng)大的功能，具體體現(xiàn)在：reqeust去重，爬蟲持久化...
-
scrapy——crawlspider的使用和總結(jié)
CrawlSpider它是Spider的派生類，Spider類的設(shè)計原則是只爬取start_url列表中的網(wǎng)頁，而CrawlSpider類定義了...
-
seleinum
Selenium是一個Web的自動化測試工具，最初是為網(wǎng)站自動化測試而開發(fā)的，類型像我們玩游戲用的按鍵精靈，可以按指定的命令自動操作，不同是Se...
-
協(xié)程
協(xié)程是什么？ 協(xié)程是python個中另外一種實(shí)現(xiàn)多任務(wù)的方式，只不過比線程更小占用更小執(zhí)行單元（理解為需要的資源）。 為啥說它是一個執(zhí)行單元，因...
-
多進(jìn)程、進(jìn)程池
多進(jìn)程 什么是進(jìn)程 一個程序運(yùn)行起來后，代碼+用到的資源 稱之為進(jìn)程，它是操作系統(tǒng)分配資源的基本單元。不僅可以通過線程完成多任務(wù)，進(jìn)程也是可以的...
-
多線程、線程池
多線程 多任務(wù)的概念 什么叫“多任務(wù)”呢？簡單地說，就是操作系統(tǒng)可以同時運(yùn)行多個任務(wù)。 單核CPU如何執(zhí)行多任務(wù)？ 多核CPU如何執(zhí)行多任務(wù)？ ...
-
xpath，bs4總結(jié)
Xpath解析器： 什么是XPath？ XPath (XML Path Language) 是一門在 XML 文檔中查找信息的語言，可用來在 X...